选自|Gigaom
翻译|网易见外翻译机器人
审校|抹茶
人物观点：
我认为向机器智能时代过渡可能是人类历史上具有里程碑式的事件之一，但从时间尺度来看，人工智能的发展更加的多样化，更具有不确定性。
但是，目前的技术还远不能达到人类智能的水平，更不用说超级智能了，短时间内我们还很难实现真正的人工智能，但最终随着技术的发展，一定会实现真正的通用人工智能。
而且，我认为对超级智能的担忧在各行各业都会存在，都会面临挑战，人们首先应该考虑未来“超级智能”是否会有自己的意识和想法，并朝着不利于人类的方向发展，我们需要做的是在机器变得更智能的时候，让它们完全听命于人类，不违背人类的意志，以保证人类可以完全控制它们。
本期对话嘉宾为为尼克·博斯特罗姆(Nick Bostrom)，他是牛津大学哲学系的教授，人类未来研究院的创始人和主任，Bostrom的学术背景包括物理、计算机科学、数理逻辑，以及哲学。他著有大约200种出版物，包括《人择偏差》、《全球灾难危机》，《人类提升》以及《超级智能：途径、危险与战略》，他最著名的研究领域包括：1. 生存危机;2. 模拟论点;3. 人择理论;4. 未来科技的影响;5. 结果主义对全球战略的意义，他还是Eugene R. Gannon奖的获得者，曾被《Prospect》杂志列入全球思想家名单。
博斯特罗姆这样评价自己：“我是一个非常幸运的人，没有教课的任务，有助理团队和顶尖的研究人员给我提供支持，我可以研究的领域实际上没有任何限制，我必须非常努力，才能对得起这样的特权”。
一、世界上会出现通用人工智能，但还需要攻克一些难题。
【问】您是如何看待未来人工智能方面的发展的?
【尼克·博斯特罗姆】我认为，向机器智能时代的过渡可能是人类历史上具有里程碑式的事件之一。但是从时间尺度上来看，人工智能的发展更加的多样化，更具有不确定性。
最终，我认为我们将拥有真正、完整的人工智能，且在不久之后可能会成为“超级智能”(即通用人工智能)。我认为，这种向机器超级智能时代的过渡，可以体现在各个领域，且每个领域都有造福人类的巨大潜力。健康、娱乐、经济、太空殖民等等，应有尽有。但同时也可能存在一些风险，包括与创新有关的人类生存危机，随着人工智能不断地融入人类的生活，未来它们很有可能会超越人类甚至取代人类。
我的意思是，当你看到两个事实时，这是一个相当大胆的论断。首先是技术的现状。不可否认，如今我们的手机正在变得越来越智能。其次，目前我们所知道的人工智能只是人类智能。这是一种与人类意识形成、人类大脑运行模式、思维方式以及所有这些人类活动一样的方式，并不是我们所理解的是一种轻描淡写的练习。那么，你如何对待这两件事——在这方面没有先例，之前也没有真正了解人类的智能、人类的大脑是如何运作的——然后你得出这样的结论：这几乎是不可避免的?
当然，目前的技术还远不能达到人类智能的水平，更不用说超级智能了。短时间内，我们还是很难实现真正的人工智能的。但最终，随着技术的发展，最终会实现真正的人工智能。从人类大脑的运行模式中我们可以得知，这个世界上存在着至少和人类智力水平相仿的运行系统，而且它是一个有限的生物系统。人类头颅内的重约三磅的软物质竟可以达到这种水平的性能，而且这还远远没有达到人类大脑的极限。我们可以看到几种不同的方法，在技术上最终达到我们可以在机器基质中制造和人类大脑类似的物质的方法，进而模拟大脑的运作方式，达到真正的人工智能。
因此，人们确实需要逆向研究的方式来解锁人类大脑的奥秘，搞清楚大脑运行的体系结构、学习时的算法逻辑，进而将其置于计算机基础上运行操作。但很有可能的是，我们将采用一种纯粹的合成方法来加快研究的进程。
在这条道路上似乎没有什么原则上无法攻克的难题和障碍。但是这仍然非常难，毕竟我们直到上世纪中叶才开始有了计算机，计算机的出现也不过几十年的时间。人工智能领域也是个很年轻的领域。在这几十年里，我们已经走过了相当长的一段路，如果我们继续这样下去，我想我们最终会找到如何设计出具有同样强大的学习能力和规划能力的算法，进而让人类变得更聪明。
【问】：在人类已经接受了这个假设的基础上，你认为人类的意识是从哪里来的?
【博斯特罗姆】：大脑。
二、研究人工智能，或许人类大脑能给我们很多启发!
【问】：但具体来说，是什么机制引发了这种变化?对于这个问题，还有什么其他潜在的答案吗?
【博斯特罗姆】：我倾向于计算主义观点，我的猜想是，这是一种特定类型的计算的运行，它会在道德相关的主观体验中产生意识，在原则上，你可以在由硅原子构成的结构上实现意识，就像碳原子结构一样。在这里，重要的不是大脑的构成物质，而是大脑运转的计算结构。
原则上，你可以让机器拥有意识。不过，我的确认为，人工智能的问题，即机器的智能表现，最好还是不要过早的涉及意识的问题。即使你认为机器不能真的拥有意识，你仍然可以关心它们是否和人类一样聪明。即使他们没有意识只是聪明，这仍然可能是一项对世界产生巨大影响的技术。
【问】：关于这方面的最后一个问题，我想深入了解一下你是如何看待所有这些发展和实验的?想必您肯定很熟悉约翰·希尔勒(John Searle)的中国房间思想试验，中文房间(Chinese room，the Chinese room argument)又称作华语房间，是由美国哲学家约翰·希尔勒(John Searle)在1980年设计的一个思维试验以推翻强人工智能(机能主义)提出的过强主张：只要计算机拥有了适当的程序，理论上就可以说计算机拥有它的认知状态以及可以像人一样地进行理解活动。这个实验要求你想象一位只说英语的人身处一个房间之中，这间房间除了门上有一个小窗口以外，全部都是封闭的。他随身带着一本写有中文翻译程序的书。房间里还有足够的稿纸、铅笔和橱柜。写着中文的纸片通过小窗口被送入房间中。根据Searle，房间中的人可以使用他的书来翻译这些文字并用中文回复。虽然他完全不会中文，Searle认为通过这个过程，房间里的人可以让任何房间外的人以为他会说流利的中文。这个人显然并不懂得任何中文，但是根据那本书还有纸条，他竟然成功用中文回答了问题，而且翻译出来的东西在中国人眼里，是非常地道的和精彩的。
所以问题是，这个试验结果是，那个房间、那个系统，非常出色地通过了图灵测试。并且这个系统在没有理解所谈论的东西的情况下就成功了。对于这种机器即使缺乏理解，甚至是无法理解的情况下，并不会像人类想象的那样具有局限性，相反，这些算法和系统可以做的非常出色，即使并不能像人类一样思考和理解事情。当然，这个试验适用于计算机。希尔勒用这个实验得出结论，计算机永远不会像人类一样，因为它什么都不懂。您怎么看待这个问题?
【博斯特罗姆】：说实话，我不太相信这个实验，首先你需要考虑，这个思想试验不仅仅是关于这个房间里的人能做什么、不能做什么，能理解什么、不能理解什么。你必须要把整个系统想成一个整体。因此，房间、房间里所有的书还有人，应该作为一个整体，能够以一种看起来聪明的方式实现输入与输出。如果有什么东西具有理解能力的话，那大概就是这个系统。就像你说的计算机程序，它会是个整体，包括电脑，程序以及存储记忆，最终会达到一定的性能水平，而不是其中某个设备里的一个特定数据箱。
对于中文房间这个实验，人们传统的想法是，那个实验者会记住每一本书的内容。他出去转转，有人递给他一张便条，他写了一个绝妙的答案，然后把它递回来。再一次需要强调的是，他并不理解问题是什么。但你不能回头说，“这是系统。”
因此，你必须考虑，实际上，你想要获取的功能是将所有可能的英语输入都映射到中文输出。要知道，就数据条目数量而言，仅仅通过一个庞大的检索表来进行映射是不可行的。这肯定不适合人类的大脑。或者，实际上，在任何物理限制条件下，在可观测宇宙中，没有足够的原子以这种方式来实现它。
因此，很有可能的是，理解不仅包括将一组输入信息映射到输出的能力，还包括以特定的方式进行数据压缩。因此，要理解某件事可能需要知道其相关的模式是什么，在一个特定的领域中(某个领域的某种精神模型)，从而实现这个输入/输出映射的紧凑化。这可以让你概括那些在初始集中没有明确列出的东西。
所以，如果我们试图通过一个检索表来支撑这个中文房间思想实验的论点，一方面，在没有足够的记忆内存的情况下，那是不可能实现的。另一方面，即使你以某种神奇的方式拥有足够的记忆内存，但它仍然不能算作真正的理解，因为它缺少这种数据的压缩，也没有规律的提取。
三、为了避免AI威胁，人类要在超级智能出现之前将AI完全掌控。
【问】：对于超级智能，人们普遍存在三个担忧：第一，担心它被人类故意滥用;第二，担心它被人类不小心误用;第三，担心它有一天有了自己的意识和想法，并且朝着不利于人类的方向发展。对于对人工智能或者超级智能，您是否也有类似的担忧?或者您有什么特别的担忧吗?或者您是如何摆脱这种担忧的?
【博斯特罗姆】：是的，我认为超级智能的担忧在各行各业都会存在，也都会面临相应的挑战。我认为人们首先应该考虑第三个问题，即未来“超级智能”是否会有了自己的意识和想法，并朝着不利于人类的方向发展。我们需要做的是，在我们让机器变得更智能的时候，也要让它们完全听命于人类，不违背人类的意志，以保证人类可以完全控制它们。
所以现在你需要制定一个目标功能。在绝大多数情况下，这很容易。例如，如果你想训练一些智能体(agent)下象棋，你就需要定义怎样才是一步好棋。如果赢了一场比赛，会得到1分，如果输了，不得分，如果是平手，得到0.5分。所以这是我们可以定义的目标功能。但在现实世界中，人类需要考虑方方面面的事情，我们会关心是否幸福、公正、美丽和快乐。而这些东西都不太容易去设定评判标准和目标，很难用计算机语言去定义。因此，你需要找到一种方法，让潜在的超级智能的智能体服务于人类意志的延伸，这样他们就能意识到你的意图，然后忠实地执行命令。
这是一项重大的技术研究挑战，目前也有科研团队正在致力于解决这个问题。假设我们可以解决这个关于控制的技术难题，我们就能更广泛的应用人工智能在我们的生活中。届时我们将有能力应对更广泛的“规定”(policy)问题。例如，究竟是谁来决定人工智能的用途，它的社会用途是什么，未来“超级智能”出现之后，我们的世界又该是什么样子等等。
目前，只有同时解决技术问题和关于人工智能的更广泛的“规定”问题，才能真正得到一个好的结果。这两个问题同等重要，且都具有挑战性。就像你将规定分为两个子问题一样，这样子就可以解决你刚才提的第一个和第二个问题了，如何去区分故意滥用和意外误用。但我相信，所有的人都不希望你刚才提到的事情将来有一天会发生。
【问】：任何对人类生存的威胁都会引起我们的注意。你是否认为这种威胁看起来微不足道，但一旦发生后果不堪设想，所以我们需要认真对待这个问题?还是你认为这些事情未来很有可能会发生?
【博斯特罗姆】：一半一半吧。我认为，我们有足够的时间和机会去发展超级智能，但同时，也许是在今天活着的人的有生之年，超级智能也有可能会出问题。并且，这种情况发生的可能性非常大，因此，为相关的研究项目和研究人员投资是一项非常明智的选择，只有这样才能让研究人员致力于寻找解决问题的方法，将我们对超级智能的担忧与害怕控制在我们的掌控之中，这是我们当下亟待解决的问题，因为有些问题和隐患的苗头已经开始逐渐显现了。而且，我们还需要提前考虑规则制定的问题。例如，究竟什么样的全球治理体系能够真正应对一个存在超智能实体的世界?
要认识到这是一个巨大的挑战，我认为当你在谈论一般的超级智能时，你不仅仅是在谈论人工智能的进步，你是在谈论所有技术领域的进步。在那个时候，当人工智能在科学和创新方面比我们人类能做的更好的时候，你就相当于拥有了一个可观测未来的望远镜，你可以想象到所有其他可能的技术，如何帮助人类在时间的长流里更好更充实的发展。如果我们有4万年的时间来研究它，也许届时我们就能找到抵抗衰老的方法获得长生不老之术，或者征服银河系并将其上传到电脑上等等，所有这些目前只有科幻小说中才出现的场景，我们都知道是符合一定的自然和物理规律的，因此未来是有可能实现的，只是需要时间。而人工智能的出现，未来有望帮助我们实现。所有这些都可能是在超级智能出现之后，在数字时间范围内很快开发出来的。
所以，在这种转变下，很有可能在短期内，随着人工智能技术的逐渐成熟，科幻小说中的场景真的会在我们的现实生活中出现。我认为，要规定和选择一种适用于超级智能存在的世界的治理体系，需要进行一些根本性的反思。这也是一项很有意义的工作。
并且，我认为我们应该提前开始这项工作的理由，并不完全取决于你认为在一定的时间内发生这种情况的可能性有多大。如果我们不制定相关的保险措施的话，目前看来，人工智能未来威胁人类生存的可能性还是很大的。
【问】：你认为我们面临着重新思考社会基本结构的挑战吗?人类历史上曾经出现过类似的先例吗?
【博斯特罗姆】：世间万物没有什么是非常相似的。每件事、每个技术的出现都具有其独特性，并不能一概而论。但是我们确实可以从中寻找出一些相仿的规律。在某些方面，如今人工智能的出现和当年的核武器的发明有些相似之处。当年，包括一些正在研究核武器的核物理学家都认为那将真正改变国际事务的性质。同时，人们预见了随后出现的军备竞赛，也有人试图提前思考，如何才能防止核扩散等等。
除此之外，我不认为人类历史上类似的需要提前考虑和采取预防措施来避免未来问题发生的事件。就像大多数时候，我们在探索发现的路上跌跌撞撞地走着，尝试着不同的东西，然后逐渐地学习。我们明明知道汽车会发生车祸，造成人员伤亡，但是我们并没有因此而不使用汽车，相反，我们发明了安全带和道路指示灯。我们在前进的过程中也会与时俱进。但问题和风险在于，你有且只有一次机会，所以你必须在第一时间把它做好。这可能需要提前意识到问题所在并迅速找到避免出现这种情况的解决方案。但这正是我们人类所不擅长的事情，因此，我们需要付出更多的努力。
四、是什么决定着通用人工智能的出现?
【问】：在我们探索发明超级智能之前，您是否认为我们正在朝着进化的方向前进?是否就像，我们对AI有所了解，我们有基本的技术和知识。但我们需要做的是发明更高效的机器，更好的算法，更多的数据，以及所有这些东西，但所有这一切最终会给我们一个“超级智能(即通用人工智能)”。或者您认为它还需要一些我们现在还不理解的东西，比如量子计算机等等。我们是在往这个方向发展吗?
【博斯特罗姆】：我不认为通用人工智能的出现需要一台量子计算机。也许这是有帮助的，但我不认为这是必要的。我的意思是，如果你说更快的计算，更多的数据，更好的算法，我认为结合起来就足够了。我想我们应该更多的将重点放在，未来算法究竟需要发展到多好。
因此，近年来在包括深度学习和强化学习等机器学习方面取得的进步，都让人兴奋不已。我认为，目前还没有定论表明，我们是否需要拥有大量的新技术和知识，也许我们只是需要一些巧妙的方法，把我们已有的知识和技术串联起来，在它们的基础上构建新的东西，或者是实现更深层次的概念突破。这些都是难以预料的。
当然，还得在大量算法改进的基础上，才能实现这一目标。但是，进一步的改进可能更多的是使用我们现有的一些基本的知识和技术，以巧妙的方式将它们组合在一起。在深入学习结构的基础上，更好地学习和提取概念，并将它们结合到推理中，然后用它来学习语言。如何更好地进行分层规划。但它仍将使用我们已经拥有的一些技术和知识，而不是那种完全抛弃过去的技术，以一种全新的方式开始的发明。我认为至少有一些证据表明，我们仍然在正确的轨道上前行，我们也能看到现有的一些进步。
【问】：据我所知，当我试着从不同的行业领域(包括编写算法或者计算机编程等相关行业)里采访人们对于未来何时会实现真正的人工智能的时候，大家给出的答案不一而同。我认为这是一个很有说服力的事实。但毋庸置疑的是，现如今行业里有人并不认为这是一种对思想资源和周期有用的方式。从广义上来说，你认为是在什么情况下那些人会忽视这一切，而他们又会在哪里犯错误呢?他们错过了什么?
【博斯特罗姆】：他们可能会因为对自己的印象过于自信而犯错。所以，这取决于他们相信的到底是什么。如果他们相信，在接下来的几百年里，我们基本上没有机会实现这个愿望，那么我认为他们就是过于自信了。人工智能的发展并不是那种可以在短时间内预测到未来100年里将要发生什么的事情，至少目前是做不到的。因此，坚信可能或者不可能发生，都是一种过度自信的表现。从而引发业内专家们意见相左。
几年前，我们对世界领先的机器学习专家进行了一些民意调查。其中一个问题是，您认为需要多久，我们才能有50%的可能性拥有高水平或与人类水平相近的机器智能，也就是说可以实现真正的人工智能?我们得到的平均答案是2040或2050年，当然这也取决于我们问的是哪组专家。然而，这些都是主观的想法。
目前尚没有一种严格的数据集可以证明这是正确的估计。但我认为，这确实表明在本世纪，准确的说是在本世纪中叶，很可能会实现真正的人工智能。但究竟是真是假，还有待时间的考证。而这是主要研究人员的大致观点。这里面还存在着很大的不确定性。也许可能需要更长的时间来实现真正的人工智能。但也可能会提前发生。我们可以借助概率分布来考虑，在各种可能的到达时间范围内的可能性分布。
【问】：在实现真正的人工智能之前，您对人工智能的头号担忧是什么?它对就业的影响又会是什么?
【博斯特罗姆】：目前来看，我所担心的是未来人类的工作问题。实现了通用人工智能，也就意味着，届时机器可以完全取代人类，做人类可以做的任何事情。
一方面这帮助人类减轻了工作的负担，但是同时也带来了两个非常严峻的挑战。其中之一是经济方面的挑战，即人们如何谋生。现在很多人都依赖于工资收入生活，因此，未来工作被机器取代之后，他们需要一些其他的收入来源，要么来自资本分配，要么来自社会再分配。幸运的是，我认为在这种情况下，人工智能真正实现了智能化，它将创造出巨大的经济繁荣。因此，这块经济市场蛋糕的整体规模将会大幅增长。因此，考虑到政治意愿，以确保每个人都能拥有高水平的生活质量，通过普遍的基本收入或其他方式的再分配，也应该是相对可行的。
现在，这就引出了第二个问题，也就是人类活着的意义所在。目前，很多人认为，他们的自我价值和尊严，与他们作为经济上富有生产力的公民的身份密不可分。很多人认为成为家庭的经济支柱是一件很幸福的事。但这种观念亟待改变。教育体系必须改变，训练人们在休闲中寻找生活的意义，培养爱好和兴趣。欣赏对话的艺术，培养对音乐的兴趣，建立个人的爱好等等方方面面的事情。为自己而活，因为每个人都是有价值的，都是独一无二的，而非为了生存赚钱养家而活。
我认为这是绝对有可能的。有一些群体从历史上就一直生活在这种情况下。例如，英国的贵族们认为，为生计而工作是有失身份的，他们认为这就像是在出卖自己，就像你不得不出卖自己的劳动一样，因此他们相信地位高的人是不需要工作的。
今天，我们处于一种奇怪的情况，地位越高的人工作得越好。例如企业家和CEO们每周需要工作八十小时。但这种情况可能会改变，但根本上，是需要文化的转变。
【问】：最后，你的新书《超级智能》可以说是有史以来最具影响力的书籍之一。书中你为人类敲醒了警钟，提醒人们要认真考虑未来人工智能真正实现的问题，并建议我们应及时采取积极预防措施。您是否可以带我们来畅想一下未来的生活。
【博斯特罗姆】：这本书出版以来，在过去的几年里，在围绕人工智能主题的全球性的讨论中，以及在技术研究等方面都出现了很大的转变，现在人们开始专注于寻找对人工智能更好地控制的方式，而这对于当下先进的AI技术至关重要。目前已经有很多研究小组提出了这个问题。我们也在致力于解决这些问题。在伯克利，研究团队们正在与DeepMind共同举行定期的研究研讨会。这都是振奋人心的好消息，因为看到相关的努力在付出。
当然，我们希望这个问题不会太棘手。在这种情况下，我认为这种人工智能的转变确实是开启了一个全新的层次。它可以让人类文明从目前的人类状态过渡到另一种完全不同的状态。随着技术的不断成熟，也许是我们的后代能够征服宇宙，构建和创造幸福状态下的超人类智慧的文明，而未来，探索经验的空间、存在的模式和相互作用，以及创造性活动，这些活动可能超出了目前人类大脑的想象能力。
我只是觉得，在这个广阔的可能性空间里，存在着一些非常有价值的模式。就像一个巨大的体育场或大教堂，我们就像一个蜷缩在角落里的小孩，这就是我们目前所处的环境下，一个生物人类有机体所能接触到的各种可能性模式的空间。它目前只是存在的所有可能性中很小很小的一部分，但一旦我们找到了创造这些人工智能和人工智能的方法，我们就可以开始解锁新世界了。
因此，拥有足够的智慧和些许的运气，我认为未来将是美好的，准确的说，未来将存在无限可能。