人工智能时代无限接近人类生活，不管怎么说都算是一个好消息。因为机器长期以来都在更好更快捷，更加安全有效率的帮助人们做事。

尽管人工智能的发展快速，但科技领域的领头者们仍然提醒着人类要提防人工智能所带来的不良后果。“如果不对人工智能的潜在危害加以重视，那么人工智能杀人狂的危害将远大于核武器。Tesla首席执行官Elon Musk说道”。Elon Musk曾表示：“希望人们不要成为智能机器加载的引导程序。但不幸的是，这件事的可能性正在变大。”

比尔盖茨曾对媒体透露他对Musk观点深表赞同：“我是站在对超级智能感到担忧的一方的，目前，非超智能化的机器已经可以为我们做很多事。如果我们控制得当的话，机器将起到积极作用。但几十年后，过于强大的智能机器势必将会使人担忧。我同意Elon Musk的观点，令我难以置信的是居然有人对此不感到担忧。”

由此而产生的一个很普遍的观点是：只要我们能够控制妥当，机器怎样发展都没什么关系。但是怎样才能使这至少看起来妥当？关键之一也许是设计一种机器，不仅能够使他们反思自己的行为（也包括其他人工智能机器的行为），而且让他们明白他们同物质社会的联系。因为如今，人工智能的模型体现了笛卡尔哲学二元论，机器已经知道意识独立于身体。

当机器可以自主运行的时候，我们制造什么样的机器才能使世界变得更好？

BenjaFallenstein和Nate Soares在给机械智慧探索协会的文章中写道：“当机器变得更聪明灵活的时候，它将变得比任何人更强大，这将引领一场‘智慧风暴’，同时它将把人类的智慧水平甩到身后。”可以相信的是，一种经历过智慧风暴的人工智慧最终想要采取从根本上跟它最初完全不同的搭建风格，比如这种人工智慧被分布在不同的电脑上，那里没有单独的实体能够从传统架构上实现代理的角色。

这些经过计算推理的疑问引出一个复杂却不能解决的问题：当机器可以自主运行的时候，我们制造什么样的机器才能使世界变得更好？更美好的世界应该是什么样子呢？如果我们让机器基于当下的人类价值体系去反省他们自己，那么他们很快就会过时。去年MIRI（国际管理与创新研究院）的观察家Luke Muehlhauser和Nick Bostrom在一篇论文中做出了解释：

想象一下古希腊人正面临从人类到机器控制的过渡阶段，他们将自身的价值观作为机器的终极目标进行编码。在我们看来，这会导致灾难发生，因为我们比古希腊人拥有更高的道德水准（例如奴隶制的废除），但可以断定的是我们离完美还很远。

因此，我们需要考虑不断地提高道德水准。一种方案就是赋予机器理解我们价值观的一种算法——了解的越多，就会更加智慧，就能进一步升华人性等等。哲学家对价值理论体系的研究已经开展了数十年之久，他们的研究成果也许是机器道德方面的有成效方案。

专家们表示，我们弄清这些问题答案的时间已经所剩无几。再来看看比尔盖茨的观点：“在接下来的30年，人工智能将会得到前所未有的发展。即使是在新的十个问题中像视觉和语言的理解和翻译程度将会达到很高的水准。采摘水果或转移病人这种任务对机器人将会迎刃而解。一旦机器人的视觉和移动能力达到一定水平，它们将会出现在更广泛的领域。

尽管如此，采摘水果的机器人至少现在还不会取代人类。但是依据MIRI的说法，人类在预测人工智能的重大发展方面非常不在行。数十年来，人们一直在预言人工智能的崛起并不遥远。

对失败预测做出报告的作者表示：“专家预言不仅与非专家预言不能区别开来，与之前失败的预测也没有什么不同。”因此近期的预测由于受之前预测的影响，可能正在遭遇同样的偏差和错误。