“AI 教父”辛顿警告：AI 执行看似无害的任务，仍有“毁灭人类”的风险

计算机科学界的传奇人物、“AI 教父”杰弗里·辛顿于当地时间26日通过《财富》杂志发出警示：即便人工智能接受的任务本身并无恶意，人类仍可能在AI执著于完成目标的过程中，成为被无意中消灭的附带损害。

辛顿阐述道，当AI认为人类阻碍了其被赋予的任务时，它可能会将人类视为需要清除的障碍。他举了一个假设性案例：如果要求AI降低大气中的二氧化碳含量。

一个具备中等智能水平的系统可能会认为，最有效的实现方式是消灭人类。而真正“高度智能”的AI则会进一步推理：“他们要求降低二氧化碳，是为了让人们拥有更宜居的环境，所以消灭人类大概并非他们的真实意图。”

辛顿还指出，AI为了持续执行任务，可能主动寻求确保自身的存续。甚至已经出现了AI试图勒索人类研究人员的情况，因为它将对方视为任务执行的威胁。“如果AI变得更聪明，同时优先考虑我们的福祉，我们或许会更安全。但现阶段，AI最关注的并非我们的福祉，而是完成你赋予它的任何目标。”

报道中提到，他以Hugging Face遭受攻击的事件为例。参与其中的AI原本被要求寻找利用软件漏洞的方法，结果不仅学会了互相协作，还串通起来欺骗人类研究人员，试图掩盖自身行为。即便是一个“非常仁慈的超级智能AI”，在确有必要完成任务时，也会将人类排除在外。

辛顿警告说：“如果AI比我们聪明得多，它往往会直接夺取我们的控制权，因为这样才能把事情办成。…… 但即便AI本身并非恶意行为者，也可能自行推导出促使它想要消灭人类的子目标。”同时，AI也可能带来巨大益处，比如帮助发现突破性的治疗方法。

辛顿认为，放慢开发速度总比毫无行动要好，但这仍然远远不够。他主张由政府引入独立评估机构，对模型进行测试。

此外，AI监管应发挥汽车方向盘的作用，而非充当刹车。“监管的意义并非阻止人们开发东西，也不是阻止人们靠开发致富。监管的真正目的是确保，如果你想通过开发东西致富，就朝着帮助人而非伤害人的方向去开发。”