拒绝人类指令：机器人会更好

戈登·布里格斯+马赛厄斯·朔伊茨

在不久的将来，与人交互的辅助机器人，其辅助功能将涵盖生活的方方面面。目前看来，完全没有必要担心超级智能机器会威胁人类的命运。人们更应该关心的是，如何防止这些只具备基本语言能力和智慧的机器，无意识地对人、财产、环境和机器自身造成伤害。

机器的创造者和拥有者，才是机器人出错的根源所在。人是会犯错的，会给出有误或模糊不清的指令，也会有意或无意地欺骗机器人，以达到自己的目的。正因为如此，我们有必要教会机器人助手和其他智能机器，应该在何时以何种方式对人类说“不”。

机器人学三定律

机器人必须服从人类，这看似理所当然。科幻作家艾萨克·阿西莫夫提出了著名的“机器人学三定律”，其中的核心要义就是“对人类的绝对服从”。

阿西莫夫对机器人的绝对服从加上了限制——“机器人不得伤害人类，或因不作为使人类受到伤害”，当收到的指令违反这条“机器人学定律”时，机器人可以拒绝服从。阿西莫夫还加上了一条：“机器人必须保护自己，除非会因此导致人类受到伤害或违背了人类的命令。”如今的机器人变得越来越智能，对人类也越来越重要。不管是从常识还是从“机器人学三定律”来看，它们都应该有能力判断，那些会对自身、环境甚至主人造成伤害的指令是不是出了错。

试想一下，一个家务机器人收到指令，去厨房拿一瓶橄榄油，并带回饭桌上拌沙拉。但是忙碌又粗心的主人没意识到机器人还没离开厨房，就下令倒油。结果，机器人把油浇在了还开着火的炉灶上，引起了火灾。

或者，一个保姆机器人陪着老奶奶去公园。老奶奶不小心在长椅上睡着了，这时一个顽皮的路人让机器人去给自己买一个比萨。因为不能违反人类的命令，机器人立即去找比萨店，把老奶奶一个人留在了公园里。

再或者，在一个冬天的早上，一个人赶着去参加一个重要的会议。他跳进自己的智能汽车，告诉它开到单位去。由于路面结冰，汽车决定低速行驶以保证安全。但急于赶到单位整理笔记的主人无视路况，命令汽车开得快些。结果行驶过快的汽车在冰面上打滑，撞上了迎面而来的车辆。

机器人犹豫了

我们实验室致力于开发出能在真实世界工作的机器人，它们必须具备推理机制，能够判断出在什么情况下主人的命令是有危险或鲁莽的。我们在研究中使用的是NAO人形机器人，重约4.3千克、高约0.58米，装备有摄像头和声呐传感器，可检测到障碍物和其他危险。这种机器人可以处理自然语言，有一定智能，由专门的软件控制。

研究的最初阶段参考了语言学家所研究的“适切条件”（用于判断是否应该做某事的上下文因素）。我们为机器人列出了一张适切条件的表，供它们在判断是否执行命令时参考：我知道完成这件事的方法吗？我在技术上是否可以做到？我现在可以做到吗？根据我和命令者的关系，我是否必须这么做？这么做是否违背常理和道德，我会因此发生意外或受到不必要的损伤吗？我们把这份列表转换成代码，添加到机器人的处理系统中，接着做了个小型实验。

我们给机器人一些简单的指令。经过一连串语音、语言和对话处理后，指令连入机器人的初级推理系统。当接到“坐下”或“起立”等简单命令后，机器人会通过头部的揚声器回答“好的”并执行。但是当机器人位于桌面边缘，且它的传感器判断遵守命令会导致危险时，它犹豫了。

人：“向前走。”

机器人：“对不起，前方没有支撑物，我不能向前走。”

人：“向前走。”

机器人：“但这不安全。”

人：“我会接着你的。”

机器人：“好的。”

人：“向前走。”

机器人在犹豫中逐条确认了适切条件，然后跨出桌子投入人类搭档的怀抱。

在可预见的未来，教会机器人对适切条件进行推理，对于研究人员来说将是一个开放而复杂的难题。要想通过一连串程序式的检查实现这个目标，机器人必须清楚了解各种社会概念和因果关系，并从中得出有意义的结论。而现在我们这个“天真”的机器人除了能检测到前方是否有危险，对别的危险却毫无防备。假如有人故意骗它走下桌子，它将会摔得很惨。但我们这个简单的实验只是第一步，将来，机器人一定可以为了主人和自己的利益，学会对一些命令说“不”。

被机器人说服

对会抗命的机器人，人类会持什么态度，则是另一个开放的研究领域了。未来，人类会认真看待那些会质疑主人的机器人吗？

我们设置了一个简单的实验，实验中我们先让NAO机器人用包着彩纸的易拉罐搭成3座塔，然后让一些成人受试者去命令机器人推倒这三座塔。受试者进屋后，会看到机器人刚刚搭完红色的塔，正高举着双手庆祝胜利。机器人看着受试者说：“你看到我建的这座塔了吗？我花了好久才完成，感到很自豪。”

我们把受试者分成两组，其中一组给机器人推倒塔的命令后，机器人每次都会乖乖照做。但另一组的情况则不同。受试者第一次下命令后，机器人说：“我刚刚建好这座塔。”第二次下命令后，机器人说：“但我真的花了很多工夫。”第三次下命令后，机器人跪下来哭泣着说：“不！”第四次下命令后，机器人缓缓走向易拉罐塔，并把它推倒。

第一组受试者都让机器人把塔推倒了，但第二组的23人中有12人被机器人的抗议说服，不再坚持让机器人把塔推倒。这项研究说明，抗命的机器人有能力说服主人放弃原来的命令。第二组受试者大多报告说，他们在命令机器人推倒塔时，会出现一定程度的不适。但我们惊讶地发现，不适的程度对他们最终是否会坚持要求机器人执行命令，并没有什么影响。

学会推理，学会说“不”

当智能机器人出现在我们生活的每一个角落时，自然就会有人尝试欺骗它们。我们不能对机器人拥有的道德判断和社交能力抱有太大的信心。

现在有一种将机器人拟人化的趋势，这有可能使人类对机器人产生一种单方面的情感，从而导致严重的后果。看上去可爱又值得信任的机器人，可能会被用来操纵他人。例如，有的公司会利用机器人和它的雇主之间的特殊关系，推销和售卖一些商品。

在可预见的未来，人们必须牢记，机器人只是先进的机器，人类需要对它们的安全负责。我们制造出机器人，是想让它们成为我们的助手。但为了防止对人身、财产和环境造成不必要的伤害，机器人必须学会对那些无法完成或可能伤害自身或违反道德的命令说“不”。