对于人工智能，我们必须认识到，它跟以往我们讨论的所有科学技术都不一样。现在人类玩的最危险的两把火，一把是生物技术，一把就是人工智能——生物技术带来很多伦理问题，但是那把火的危险性还没有人工智能大，人工智能这把火现在最危险。最近一些商业公司，通过“人机大战”之类的商业炒作，一方面加剧了这种危险，但另一方面也激发了公众对人工智能前景的新一轮关注，这倒未尝没有好处。
我们可以把人工智能的威胁分成三个层次来看：近期的、中期的、远期的——也就是终极威胁。
电动汽车特斯拉的生产流水线已经大量使用机械手臂
近期威胁：大批失业、军事化
人工智能的近期威胁，有些现在已经出现在我们面前了。近期威胁基本上有两条：
第一条，它正在让很多蓝领工人和下层白领失去工作岗位。现在较低层次的人工智能已经在很多工厂里被大量采用。有些人士安慰人们说，以前各种各样新的技术被发明时，也曾经让一些工人失去岗位，后来他们不都找到新的岗位了吗？但是我认为人工智能不一样。媒体曾放过这样的消息，包括人工智能的从业者自己也都在欢欣鼓舞地展望，说人类现在绝大部分的工作岗位，人工智能都是可以替代的。果真如此，显然这个社会将会变成绝大部分人都没有工作的状态。对于这样的社会，人类目前没有准备好。今天如果有少数人没有工作，多数人有工作，多数人养着少数人问题不大，这样的社会是我们现有的社会制度和伦理道德结构能够承受的。但是如果颠倒过来，这个社会中有相当大的比例——且不说超过50%，按照那些对人工智能的展望，将来90%以上的工作岗位都会被人工智能取代。比如说人们想听一场报告，找个人工智能来做就可以了，说不定比现在的听起来还要来劲。
当这个社会大部分人都没有工作的时候，社会会变得非常不稳定。那么多没有工作的人，他们可以用无限的时间来积累不满，酝酿革命，于是就会危及社会稳定。无论东方还是西方，无论什么意识形态的社会制度，在这个形势面前都将黯然失色。所以说人类还没有准备好。
顺便再展望一下，既然90%以上的工作岗位都可以由人工智能来取代，那么“革命战士”这种工作岗位能不能由人工智能来取代？革命能不能由人工智能来发起和进行？当然也可能。但是想想看，这样的革命会带来什么呢？很简单，那就是科幻影片《黑客帝国》和《未来战士》中的世界——人类被人工智能征服、统治、压迫。
这是人工智能近期的第一个威胁，现在在很多工厂已经出现了。对工厂来说，这个级别的人工智能是很容易实现的。那些工厂的管理者说，我们换一个机器人上来，它的成本只不过是三个工人一年的工资，但是它们管理起来太容易了。管理工人很难，你让他加班他不愿意，加得多了他可能跳楼自杀或上街游行，而机器人你让它24小时一直干着都没有问题，管理成本又节省下来——管理成本往往是无形的，不那么容易计算。换用机器人很容易就可以收回成本，也许一年就收回来了。所以他们乐意用机器人取代工人。一些地方政府还通过政策鼓励当地的工厂用机器人来替代工人，换个角度想想，城市这样发展下去，不需要几年，几百万工人失去工作，到那个时候后悔就来不及了。
人工智能第二个近期的威胁，是由加入军队的人工智能带来的。但现在以美国为首的某些发达国家，最起劲的事情就是研发军事用途的人工智能。研发军事用途的人工智能本质上和研发原子弹是一样的，就是一种更有效的杀人手段。为什么埃隆·马斯克等人也号召要制止研发军事用途的人工智能，道理很明显：研发军事用途的人工智能，就是研发更先进的杀人武器，当然不是人类之福。
今天我们只能，而且必须抱着和当年搞“两弹一星”类似的心态，来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。
比较理想的局面，是各大国坐下来谈判，签署限制或禁止人工智能的国际协议。目前国际上已出现一些这样的倡议，但仅来自某些学者或学术机构，尚未形成国家层面的行动或动议。
中期威胁：人工智能的反叛和失控
我们再来看人工智能中期的威胁——人工智能的失控。这种威胁媒体早有报道，但有一些人工智能的专家出来安慰大家，他们认为人工智能现在还很初级，即使战胜了李世石，不过是下个棋，即使它会作诗、写小说，它还是很低级的，所以不用担心。这种安慰非常荒谬。
我们都知道“养虎遗患”的成语，如果那些养老虎的人跟我们说，老虎还很小，你先让我们养着再说，我们能同意这样的论证吗？你让我们同意养老虎，就得证明老虎不会吃人，或者证明你养的不是老虎。要是老虎养大了，它要吃人了，就来不及了。
《黑客帝国》三部曲
这个成语非常适合用来警惕人工智能的失控。各种各样的科幻作品都有提及失控的后果，比如影片《黑客帝国》中，人工智能建立了对人类社会的统治，我们人类就完蛋了。我们为什么要研发出一个统治我们自己的超级物种？
当然，还有一部分专家说，想让我们提供关于人工智能这个“老虎”不吃人的证据，我们有啊，我们有办法让我们的人工智能不吃人，不反叛，变成不吃人的老虎——我们只需要给人工智能设定道德戒律。
围绕在人工智能中设定怎样的道德戒律，用怎样的技术去设定，专家们确实已经想过各种各样的方案了。但是这些方案可行吗？任何一个具体方案，如果仔细琢磨，就会发现都是有问题的。我们先不考虑具体的方案，我们只要考虑一个总体的情形，就足以让我们警惕。简单地说，如果通过为人工智能设置一些道德戒律，就指望它不会学坏，那么请想一想，我们人类到现在为止，能够做到让每一个后代都学好吗？答案是做不到。我们总是有一部分学坏的后代。对这些学坏的后代，难道家长和老师没有向他们反复灌输各种道德戒律吗？况且社会还有各种各样的法律制约，但仍然还有一部分人不可避免地学坏。从这个情形来推想，人工智能就算是你的一个孩子，你能确保他不学坏吗？
更危险的事情是，人工智能会比人类更聪明。现在人类有一部分后代学坏，还没有颠覆我们的社会，那是因为他们毕竟没有变成超人，总体跟我们是一样的。一小部分人学坏，大部分人还是可以制约他们。要是那个学坏的人是超人，他掌握了超级智能后依然学坏，人们将没办法控制它。然而现在人工智能研发追求的是什么境界——不弄出“超人”来，科学家肯罢手吗？
所以，那些盲目乐观，说我们能让人工智能不学坏的人，请先解决怎么确保我们人类自己的后代不学坏吧。如果人类不能在总体上杜绝我们后代的学坏，那对人工智能不学坏的信心从何而来？
在考虑人工智能的中期威胁时，还必须考虑人工智能与互联网结合的可怕前景。主要表现为两点：
1、互联网可以让个体人工智能彻底超越智能的物理极限（比如存储和计算能力）。
2、与互联网结合后，具有学习能力的人工智能，完全有可能以难以想象的速度，瞬间从弱人工智能自我进化到强人工智能乃至超级人工智能，人类将措手不及而完全失控。
另外，鼓吹人工智能的人在安慰公众时，还有一个非常初级甚至可以说是相当低幼的说法：“我们可以拔掉电源”。专业人士在试图打消公众对人工智能的忧虑时，也经常提到这一说法。但实际上他们完全知道，如今人工智能已经与互联网密切结合——事实上，这一点正是许多大企业极力追求的，借用如今高度发达的定制、物流、快递等社会服务，人工智能几乎已经可以摆脱对所有物理伺服机构的依赖。而当人工智能表现为一个网上幽灵时，没有机体和形态，将没有任何“电源”可拔。
人工智能和互联网结合以后，危险成万倍增长。以前对于个体的人工智能，它智能的增长还会受到物理极限的约束，但一旦和互联网结合，这个物理极限的约束就彻底消失了。所以人工智能可以在极快的时间里自我进化。
去年一篇很长的文章在很多圈子里疯传，那篇文章稍微有点危言耸听，但结论我同意。作者想论证这样一种前景，就是说人工智能一旦越过了某个坎之后，自我进化的速度是极快的，快到不是以年月来计算，而可能是以分钟甚至是秒来计算。一瞬间它就可以变成超人。一旦变成超人，当然就失控了。因此说老虎还小的人，不要以为老虎跟现在一样一年长大一点，如果这个老虎一分钟长大一倍，这样的老虎还了得？虽然现在很小，过五分钟就能吃人了。
当然，对于这种事情，我本质上是乐观主义者，虽然我看到了这样危险的前景，我也还是得乐观地生活。只能如此，不能因为觉得末日可能要来临了，就不过好自己的每一天。
另外，对人工智能专家，我想说：你们要知道，在我所预言的危险前景中，你们是最危险的，因为你们就在老虎旁边，老虎最先要吃的，很可能就是你们这些人，所以要特别警惕。
远期威胁：将最终消解人类生存的根本意义
从中期看，人工智能有失控和反叛的问题，但是人工智能的威胁还有更远期的，从最终极的意义来看，人工智能是极度致命的。
阿西莫夫提出了“机器人三定律”，现在在研究机器人的行业里，有的人表示三定律还有意义，但是也有一些专家对这个三定律不屑一顾，如果对三个定律仔细推敲的话，我相信一些人工智能专家肯定会同意下面的说法：这三定律绝对排除了任何对军事用途机器人的研发。因为只要让人工智能去执行对人类个体的伤害，哪怕是去处死死刑犯人，就明显违背了三定律中的第一定律。但是搞军事用途人工智能的人会说，这三定律算什么，那是科幻小说家的胡思乱想，我们哪能拿它当真呢。
阿西莫夫在短篇小说《转圈圈》中首次明确提出“机器人三定律”，这篇小说后来收录在《我，机器人》小说集。
很多人不知道的是，这个阿西莫夫还有另一个观点——所有依赖于人工智能的文明都是要灭亡的。
阿西莫夫有一部史诗科幻小说《基地》系列，共11卷，其中对人工智能有一个明确的观点。对于人工智能的终极威胁，他已经不是担忧人工智能学坏或失控，他假定人工智能没学坏，没失控，但是这样的人工智能是会毁灭人类的，因为这样的人工智能将会消解我们人类生存的意义。
试想所有的事情都由人工智能替人类干了，人类活着干嘛？人们很快就会变成一个个寄生虫，人类这个群体就会在智能和体能上急剧衰退，像虫子一样在一个舒适的环境里活着，也许就自愿进入《黑客帝国》描绘的状态中去了：你就是要感觉快活，这个时候乖乖听话的人工智能完全可以为你服务：我把主人放在槽里养着，给他输入虚假的快活信号，他就快活了，这不就好了吗？
从根本上来说，人工智能像我们现在所希望、所想象的那样无所不能，听话，不学坏，这样的人工智能将最终消除我们人类生存的意义。每一个个体都变得没有生活意义的时候，整个群体就是注定要灭亡的。
所以，无论从近期、中期、远期看，人工智能都是极度危险的。无论它们反叛还是乖顺，对人类也都是有害的。因此我完全赞成应该由各大国谈判订立国际条约来严格约束人工智能的研发。这个条款应该比美俄之间用来约束核军备的条款还要更严格，否则是非常危险的。
科学已经告别纯真年代
以前曾经有过科学的纯真年代，那个时候也许可以认为科学是“自然而然”产生的，但是今天科学早就告别了纯真年代，今天科学是跟资本密切结合在一起的。所有的这些活动，包括研发人工智能，背后都有巨大商业利益的驱动。
谈到科学和资本结合在一起，我总要提醒大家重温马克思的名言：资本来到世间，每个毛孔都滴着浓血和肮脏的东西。对于和资本密切结合在一起的科学，我们的看法就应该和以前不同了。
我们以前一直有一个说法：科学没有禁区。这个说法是很多人都习惯的，但是现在对于这个说法，科学界的很多人已经开始有新的认识。比如说曾任北大校长的许智宏院士，前不久就对媒体表示：我们以前一直说科学没有禁区，但现在看来，科学研究仍然有着不可逾越的红线。他是在说生物技术的某些应用时说的，“不可逾越的红线”当然就是禁区了。
如果表述得稍微完备一点，我们可以说，在每一个特定的时期里，科学都应该有它的禁区，这个禁区可以在不同的时期有所改变。比如说某项技术，当人类社会已经准备好了，我们已经有成熟的伦理或者比较完备的法律来规范它的时候，我们也许可以开放这个禁区，说这个事情现在可以做了。但是没准备好的事情，现在把它设为禁区是应该的，这个禁区也应包括科学技术的高低维度，高到一定程度就有可能变成禁区，不应该再继续追求了。
发展科学，在今天，其实各国都是被绑架的。已经领先的怕被别人超越，当然不能停下来；尚未领先的，当然更要追赶。结果谁也不肯停下来或慢下来，谁都不敢停下来或慢下来，因为害怕“落后了就要挨打”。所以只有各大国坐下来谈判，设立条约，不然毫无办法。在这种局面中，只要有一个人开始做不好的事情，比如研发原子弹或军事用途的人工智能，其他人就会被迫跟进，结果大家都会被绑架。
