福祉亦或灾难：智能武器的未来

福祉亦或灾难：智能武器的未来

袁 艺

当前，信息化战争形态正由“数字化+网络化”的初级阶段，向“智能化+类人化”的高级阶段加速演进，以战斗机器人为典型代表的智能武器将主宰未来战场。我国著名人工智能专家李德毅院士，把智能机器人比作是集汽车、新能源、移动通信、卫星定位导航、移动互联网、云计算、大数据、自动化、人工智能、认知科学，乃至人文艺术等多个学科、多种技术于一身的人造精灵，是人类走向智慧生活的重要伴侣。依此类推，未来的战斗机器人则可视为将军们麾下无惧死亡、勇往直前的人造忠诚战士。

正如聪明的孩子往往更加调皮和不听话一样，武器智能化一旦超过一定程度，“聪明过了头”，就会存在自作主张、失去控制，甚至危及人类自身安全的危险。人类面临着既要利用武器高度智能化带来的可以替人打仗的无比好处，又要回避武器高度智能化带来的巨大失控风险，军事技术和武器发展由此陷入一个两难困境。

恰佩克是基于捷克语意为“强制劳动力”的词语创造出“Robot”这个词汇

智能武器的失控风险

据称“Robot”（机器人）一词，是由捷克作家卡雷尔·恰佩克在1921年的科幻作品《罗萨姆的机器人万能公司》中首创，原意是“农奴式被强迫的劳动者”，用来称呼那些造反的机器仆人。可以说，从一开始，机器人失控对人类的威胁，就成为人类心中挥之不去的心理阴影。

人类对机器人失控的担心，不仅反映在科幻小说和影视作品中，还反映在很多学者严肃认真的学术探讨中。《机器人战争——机器人技术革命与21世纪的战争》的作者彼得·W·辛格就认为，机器人控制世界需要四个基本条件：第一，机器人必须独立，能够不依赖人类而自我补充能量、修复和再造；第二，机器人必须在智力上胜过人类，但不具有人类好的品质（如同情心或道德观念）；第三，机器人必须具有生存本能，以及控制其周围环境的某种兴趣和意志；第四，人类必须不能有介入机器人决策的有效控制界面，人类必须没有能力决定、干涉，甚至影响机器人的决策与行动。从发展趋势来看，这四个基本条件在技术上都没有不可逾越的红线。因此，从理论上讲，如果不采取有效措施，智能武器失控是完全有可能的。

与民用机器人相比，军用机器人失控的危害性更大，有人甚至担心，军用机器人会不会成为“人类终结者”。早在1991年，美国学者史蒂文·谢克和艾伦·怀斯合著的《无人战争——未来战场上的机器人》，是一本较早系统介绍和论述军用机器人及其影响的专著，书中最后严肃地提出了这个问题。未来战争中，武器高度智能化后，战场上大多数的战术行动将交由战斗机器人来完成，人退出战术级“观察-判断-决策-行动”循环，人授予智能武器开火权，智能武器按照预编程序自行作战，“人不在回路”了。让一群冷酷无情、不知疲倦的“杀人机器”冲上战场，对方的人类士兵自然会心惊胆战，一旦这些智能武器出现问题失去控制，会不会滥杀无辜，甚至会不会突然掉转枪口对准自己人呢？!这一担心，不是杞人忧天，更不是天方夜谭。人是万物之灵，灵就灵在“有脑子”。人之所以能控制老虎，不是人比老虎强壮，而是人比老虎聪明。机器人的体能、技能超过人类并不可怕，但如果机器人的智能超过人类，人类还能不能控制这种比人类还“聪明”的机器人，那就不好说了。

军用机器人失控的危险非常大

武器的智能化程度越高，出现故障的概率也就越大

智能武器失控的可能形式

不同自主程度的智能武器失控的可能形式是不一样的，造成的危害也不尽相同。大致分析，智能武器失控的情况可能主要有以下几种。

智能武器因发生故障而失控。在民用机器人方面，因机器人故障而出人命的事早有发生。1985年，苏联发生了一起家喻户晓的智能机器人棋手杀人事件。全苏国际象棋冠军古德柯夫同机器人棋手下棋连胜3局，机器人棋手突然向金属棋盘释放强大的电流，在众目睽睽之下将这位国际大师击倒，这应该是智能机器人发生故障导致的。

随着机械制造水平和智能化程度的提高，未来智能武器出现机械故障的可能性减小，但出现软件故障的可能性大增。

武器系统因软件故障而导致的事故并不鲜见。20O5年，美国空军几架战斗机在一次编队飞行时，一架战斗机突然自动向地面重要设施发射了一枚导弹，并造成严重事故。经查明，事故原因是飞机的火控系统电脑出了故障。2011年，在美军几次军演和值勤过程中，三军通用战场态势分析系统多次发生软件故障不能正常工作，出现黑屏、无法显示友军信息、无法完成态势合成，甚至出现运行中断、死机等故障，导致战场态势无法及时更新、融合，作战打击方案无法按时生成。

根据墨菲定律，凡是可能出错的事必定会出错。武器的智能化程度越高，其内部电脑控制软件的规模就越大、越复杂，出现故障的概率也就越大。在成千上万条命令代码中，即使搞错一个符号，在特定条件下一旦触发这个错误，整个系统就可能要么停止运行，要么出现意外举动。试想一下，智能武器一旦“脑子”出了问题，就像人发了疯一样，拿着武器不分青红皂白地一顿狂扫，那会是一幅多么可怕的场景！

智能武器受到复杂电磁环境干扰而失控。据一名刚从伊拉克归来的美军军士描述，他的“魔爪”机器人如果受到无线电干扰，就会出现“行为异常”。另一名军士讲述，如果他的机器人没有信号，就会“变得古怪”。按理说，如果由于某种原因使得信号受到干扰或被中断，机器人应该停止行动才对。当追问军士“古怪”究竟是什么意思，他回答说：“它会偏离道路，冲你而来，四面旋转等等。”未来战争中，战场电磁环境只会变得越来越复杂，智能武器能不能适应复杂电磁环境，能不能在强烈电子干扰条件下，实时接收人类指令并精准执行作战任务，这都需要经过大量的试验和实战检验后才能得出结论。

智能武器也可能因为判断失误而出现失控。战场上的敌我识别不仅对于人类士兵来说是件难事，对于智能武器来说同样也不好解决。美国军方一位机器人项目负责人说：“机器人战士可以发现一个人并确定他的位置，然后杀死他。但问题是，怎样才能不误伤自己人。对于人类来说，区分敌人和自己都很难，更何况机器人。”

事实上，人工智能控制的武器由于判断失误，已经造成巨大惨案。1988年7月3日的波斯湾，美国海军“文森尼斯”号巡洋舰正在海上游弋执行巡逻任务。该舰因装备了自动化程度极高的新型“宙斯盾”防空系统，绰号为“机器人巡洋舰”。这时，该舰突然发现一架伊朗民航的A300客机将飞过上空。虽然舰上防空系统处于半自动模式，但电脑系统将客机识别为伊朗空军的F-14战斗机，结果舰长授权开火，发射“标准”防空导弹击落了客机，造成机上290人全部遇难，包括60多名12岁以下的儿童。无独有偶，发生在伊朗客机身上的悲剧，在近20年后的2003年伊拉克战争中又再次复现。当时，美军“爱国者”导弹把两架盟军飞机，当成伊拉克的“飞毛腿”导弹击落。

智能武器因无限自我繁殖而失控。自我繁殖可能是未来纳米级智能武器的一种高级功能。纳米机器人借助阳光、尘土、海水等物质和能量，可像细菌一样自我繁殖。杀不绝的纳米机器人军团自然是威力无穷，但一旦失去控制，后果也是不堪设想的。据专家估计，一个失去控制的正在自我复制的纳米机器人，完成130个复制周期只需要3个半小时，考虑到纳米机器人向外移动扩张等因素，最多只需数周时间就可以摧毁地球上的一切生物。

智能武器因具备独立意识反叛人类而失控。从目前来看，普通电脑的运算结果仍然是明确和可以预见的，因而是可控的，但未来随着人工智能水平的持续提高，特别是具备自学习和自进化能力后，电脑的“智商”不断提高，极可能出现类似人类“思想”的高级思维活动，以及只有人类才具备的喜怒哀乐、自我认同、妒忌羡慕、征服欲望等复杂情感。那么，运算结果就可能是不确定和不可预测的，正是这种随机的不确定性思维，潜伏着机器人威胁人类安全的危险因素。这就是未来高级智能武器可能失控的内在技术原理。目前，科学家正在制造可以产生类似人类无意识反应的机器人，机器人在紧张时会出汗，听到恐怖故事时甚至会起鸡皮疙瘩，这或许是机器人迈向具备人类思想意识的第一步。

智能武器可能具备独立意识反叛人类而失控

科幻电影《终结者》中的“天网”，原本是军方的作战网络，后来由于具备自我意识，演变为未来世界机器人的首领，指挥着机器人到处消灭人类。据媒体报道，美国科学家公布了一项“机器人大脑”计划，拟制造巨型中央知识处理器以支持世界各地的无数机器人。研究人员称，“机器人大脑”是一套大型计算系统，可以将互联网资源、计算机模拟以及机器人试验中得到的机器人知识，积累成一套全面互联的知识库。世界各地的机器人可以与之联网，学习如何倒饮料、如何收拾餐具等一些机器人基本技能。设想一下，一旦这台“机器人大脑”通过不断进化，功能越来越强大，具备了独立的自我意识，以及战术设计和战略决策能力，完全有可能将与之相联的其他机器人控制并组织起来，形成强大的机器人军事力量，一起反叛人类。

需要指出的是，智能武器的全面失控，首先应该是由局部失控开始的，有一个渐变过程，这就为人类觉察和控制失控局面提供了机会。如果人类及时采取各种措施，如启用机器人自毁程序，或用其他机器人“镇压”反叛机器人，就可以避免全面失控的出现。科幻作品描述的人类在城市废墟中到处被机器人追杀的世界末日场景，成为现实的可能性不大。

若能科学掌控，机器人可以为人类所用

应对智能武器失控的措施

未来高度智能化的机器，可能为人类带来巨大福祉，也可能为人类带来灭顶之灾，人类即将进入历史上可能最好也可能最坏的时代。对于高度智能化的武器会不会成为“人类终结者”，人们或许还存在分歧，但对于必须采取各种措施限制和避免智能武器滥用武力这一点，各方意见高度一致。

著名科幻小说家艾萨克·阿西莫夫1940年在其经典小说《我，机器人》中，首先提出了“机器人三原则”，即：机器人不应伤害人类；机器人必须听从人类的命令，除非该命令与第一定律相悖；机器人必须保护自己，除非这种保护与以上两条相矛盾。“机器人三原则”虽然有预见性地制定了机器人与人类相处的基本准则，但主要适应于民用的服务型机器人，如果应用到战斗机器人身上，还需要做很大的修改才能适应。例如，战斗机器人应该在达成作战目的的前提下，以最小伤害程度杀伤敌人，能不夺人性命解决问题就不要使用致命性武器；战斗机器人必须坚决听从己方指令去消灭敌人，不能听从敌方指令，或受外部环境干扰而改变己方指令；战斗机器人必须保护自己，但接到己方要求其自毁指令时除外。为努力做到上述几点，始终把智能武器关在人类“控制圈”内，研究人员还真想出了不少点子。

首要和保底的手段，就是在智能武器中嵌入独立于其自身控制系统的自毁模块。在智能武器走出生产线即将正式启动之前，就要设置好这种“后门”式的自毁模块。一旦智能武器失去控制，人类可以不受外部环境或智能武器自身干扰，实时启动自毁程序，实现智能武器不可逆转的彻底死机或主机殉爆。这一办法，对于“低智商”的智能武器是可行的。将来一旦出现更加“聪明”的智能武器，能够“意识”到这一自毁模块的存在，它可能就会想方设法地去除或干扰自毁模块，因此必须确保自毁模块的隐蔽性和可靠性。

在智能武器控制软件中加入伦理控制程序。智能武器的指挥控制中枢是电脑，而电脑的“智商”全靠预编软件来实现，在智能武器控制软件中加入伦理控制程序来限制智能武器的行为，从理论上讲，可以避免其“胡来”。美国佐治亚理工学院移动机器人实验室的罗纳德·阿金，设计了名为“潜在行动的多维数学决策空间”的控制程序，作为战斗机器人的“道德适配器”。这套融合了人类悔恨、同情、内疚等情绪的控制程序，将机器人携带的武器系统根据杀伤力分组，每组武器都有特定的愧疚临界值。“道德适配器”可根据传感器接收到的数据和情报，把机器人所有可能的行动分为“道德的”和“不道德的”两种，并根据需要选择适当的武器系统。机器人在使用大威力武器前，必须经过“道德适配器”的审核，只有当使用武器的愧疚临界值低于标准值才可使用。这一设计思路很好，但问题的难点不是以何种愧疚临界值来控制何种杀伤力的武器，而是如何精确判断当前事态的愧疚临界值，既不能因临界值设置过小造成毁伤不够而达不成作战目的，又不能因临界值设置过大而造成不必要的过度杀伤。在瞬息万变的交战态势中，要做到这一点，人类士兵都很难，战斗机器人恐怕更难。

2014年9月2日，在英国召开的“迈向自主机器人系统”会议上，英国布里斯托尔机器人实验室的机器人专家温菲尔德，演示了一个关于机器人伦理道德的试验，他为机器人设定了一个阻止其他拟人机器人掉进洞里的程序。当一个拟人机器人向洞口移动时，救人机器人可冲上前去将其推开，但当两个拟人机器人同时向洞口移动时，救人机器人就因为“选择”先救谁而陷入困境，有时他救起了一个，另一个掉进洞里；有时他两个都想救。在33次测试中有14次因为不知道救哪一个而浪费了时间，以至于两个“人”都掉进了洞里。温菲尔德认为，虽然根据设定的行为程序，它可以对他人施救，但它根本不理解这种行为背后的原因，因此他的机器人是“道德僵尸”。温菲尔德的试验证明，要给机器人赋予“道德感”是比较困难的。

精确选择智能武器的目标打击部位。2006年，美国国防部长办公室下属机构——国防安全工作小组，研究讨论了如何通过允许“武装自主系统”“开火摧毁敌方武器系统而非疑似作战人员”的做法，以减轻人们对潜在“机器人杀手”的种种担忧。换言之，机器人应该朝坦克或吉普车开火，而不是朝里面的人开火。约翰·S·坎宁是美国海军水面作战中心的首席工程师，也是该小组成员之一。他说：“我们的武装无人系统的设计，要能自动识别、瞄准我们的敌人所用的武器，并能使武器而不是使用这些武器的敌人失效或者遭到摧毁。这样，我们就有可能解除对我们构成威胁的部队的武装，却不必杀死相关人员。”随着人工智能的发展，电脑的模式识别能力将有极大提高，智能武器完全可以把单独的武器和作战人员区分开来。

“打武器不打人”这一做法，对于作战目标是无人武器的情况确实可行，但作战目标是载人武器平台时，实际操作起来会大大增加作战难度。例如，要想把坦克打瘫，又要保证里面的乘员毫发无损，打履带是最好的办法，但打履带对打击时机、打击角度、打击手段等方面的要求都比较苛刻，在“发现即摧毁”的未来战争中，一味强调打履带可能会导致延误战机。根据以往的实际作战经验，对于“人装合一”的敌方目标，即使智能武器能够精心选择目标打击部位，附带损伤也是在所难免的。

只给智能武器配备非致命性武器。把杀人武器交到机器人手中始终让人不放心，因此有人认为，如果要给机器人配备武器，那也应该配备非致命性武器。这些武器不是用来摧毁或者杀戮，而是用来让目标失去战斗力但并不对其造成永久性伤害。正如美国陆军战争学院教授史蒂文·梅茨所讲的那样，“机器人技术和非杀伤性手段，这两者的结合极其重要。这样，你可以命令系统只是制服目标，剩下的事情交给警察，而不是‘将目标全部杀死，后事交由上帝处理’。”这一办法应该说是完全可行的，未来战争中失能性武器的可选择范围很大，对人员可使用“控脑武器”“呕吐射线”武器、次生波武器、被称为“痛苦射线”的定向能“主动拒止系统”、网罩武器，甚至发射橡皮子弹的警用武器等非致命性武器，对装备可使用电磁脉冲武器、网络攻击武器、高功率微波武器、致发动机熄火的阻燃泡沫弹等非爆炸性武器。从某种意义上说，新机理、新概念武器为智能武器的失控问题提供了很好的解决方案。

汽车工厂流水装配线上的机器人

责任编辑：葛 妍