如果我们创建自主杀戮机器，期望伪劣代码和黑客

如果拙劣的软件更新导致巢穴或蜂巢“恒温器，可以在冻结或威胁家庭中冻结的人，但如果人类在杀手机器人或自主武器代码中错过了一个微小的错误？如果敌人国家破解那些杀戮机器怎么办？

Paul Scharre以前致力于辩护秘书处的自主武器政策，是该中心为新美国安全的第20型战争计划的项目总监。除了他对“杀手机器人”的安全和国防的一个有趣的帖子之外，他的新报告，“自主武器和操作风险”（PDF），审查了部署全自治武器的危险。

我们的自治系统，Scharre写道之一，“是机器人运行Amok之一，自治系统脱离人类控制并导致灾难性的结果。”他补充说：“他相信杜松府科幻小说喂养这种恐惧，”这些问题也植根于我们的自动化系统的日常经验。“

任何与自动电话呼叫支持帮助热线有沮丧的人，闹钟都被错误地设置为“下午”。而不是与计算机交互的“上午”或“即”的任何无数挫折，经历了困扰自动化系统的“脆性”的问题。自治系统将正是他们被编程的操作，这是这种质量，使它们成为可靠和疯狂的，具体取决于它们是否被编程到那个时间点是正确的。与人类不同，自治系统缺乏走出指示的能力，并采用“常识”，适应手头的情况。

副局长鲍勃工作以前说：“我们的对手坦率地坦率地追求加强人类运营。它真的吓到了我们的废话。“据报道，换句话说，俄罗斯和中国“加强人类”制造超级士兵。工作没有说国防部会拿那条路线，但他确实说国防部科学家正在致力于自治武器。

SCHARRE为五角大楼努力发展无人和自主武器政策，警告自主武器的方式有点不调整 - 这可能会瞄准并杀死没有任何人的人来播放的人 - 可能会吓倒。然而，他并不一定反对“半人心战争”的男人和机器的融合。

Scharre将一个自主系统定义为“一个激活，一旦激活，自己执行任务。日常例子范围从烤架和恒温器等简单系统到更复杂的系统，如汽车智能巡航控制或飞机自动驾驶仪。采用自主系统的风险是系统可能无法以人类运营商的意图方式执行任务。“

一个自主武器将使用它的编程，但将“自己选择并聘请目标”。如果从人类的意图脱离轨道，它可能导致“大众自弗拉特，大量武器转向友军”，“民间因果关系”，或危机中的意外升级。“

自主武器可能翻出来有几个原因; Scharre解释说，该系统非常复杂，零件可能会失败，或者可能是由于“黑客，敌人的行为操纵，意想不到的互动或简单的故障或软件错误”。

自主系统越复杂，人类越难以预测在各种情况下它会做什么。即使是基于复杂的统治的自动化系统也可以通过极长的代码中的错误来误坏。Scharre引用了一项研究，该研究发现每1000行代码每1000行的15-50个错误之间的平均值;他还提到了一名空军首席科学家呼吁新技术来验证和验证自治软件，因为“有太多可能的状态和各国的组合能够彻底测试每一个。”

如果存在易受黑客攻击的缺陷，那么相同的缺陷将处于相同的自主系统。如果所有自主武器系统被黑客攻击，并且同时做了本身意外的事情会是什么？是的，我们应该期望有对抗性的黑客攻击。Scharre写道：

在诸如在战争中的对抗环境中，敌人可能会试图利用系统的脆弱性，无论是通过黑客，欺骗（发送错误数据），或行为黑客（利用可预测的行为，以“欺骗”诀窍“为执行A.某种方式）。虽然任何计算机系统都是原则上易受黑客入侵的影响，但更大的复杂性可以使识别和纠正任何漏洞更难。

当涉及具有神经网络的尖端AI系统时，复杂性困境甚至更加偏执。一些可视化分类AIS可以讲述人类和对象之间的差异，但Scharre指出，这种AIS在其最终完全不正确时，这些AIS已经确定了99.6％。希望自主AI负责挑选目标和发射导弹。

基本上是Scharre在循环中保持人类并尽一切可能减轻风险，但即便如此，即使是复杂的系统也可以制造更安全，但从未安全过100％。“