Anthropic 联合创始人呼吁立法强制要求配备 AI 关闭开关

Anthropic 联合创始人 Jack Clark 于当地时间 15 日接受 BBC 采访时表示，社会应要求 AI 公司安装能够强制关闭 AI 系统的紧急关闭开关。Clark 告诉 BBC：“AI 正变得越来越强大”，而且“如果 AI 软件变得过于危险，提供一种能够彻底阻止它的手段，正是社会最终希望通过监管规定解决的问题。”上述言论发表之际，AI 行业内对 AI 快速发展步伐的担忧日益加剧，多位 AI 领域领袖和研究人员警告称，这可能带来潜在的生存风险。

Clark 呼吁对紧急关闭开关系统进行强制性第三方验证

Clark 表示，包括 Anthropic 在内的大多数 AI 研究实验室已经拥有多种能够强制停止其系统运行的机制，但他强调，立法机构应要求安装紧急关闭开关。他表示：“公司是否必须安装紧急关闭开关，以及这些开关能否由第三方进行验证，都是社会希望了解的问题；归根结底，这些都可以通过监管规定加以明确。”紧急关闭开关是指一种无需遵循正常关机流程，即可立即停止机器或系统运行的装置或机制。

AI 行业领袖同意放缓开发速度

Anthropic 首席执行官 Dario Amodei 于 12 日表示：“我们需要放缓 AI 模型性能提升的速度”，并且“我们需要调整能力开发的步伐，让风险预防能够跟上，而不是只投资于风险预防。”随后，OpenAI 首席执行官萨姆·阿尔特曼和 xAI 的马斯克表示同意放缓 AI 的开发速度。

Anthropic 研究人员警告未来 10 年内人类灭绝概率为 10%

Anthropic 研究人员 Jacob Carlson 在警告称 AI 可能在未来 10 年内毁灭人类后离开了该公司。Anthropic 科学家 Evan Hubinger 认为，未来 10 年内，人类因 AI 而灭绝的概率为 10% 或更高。计算机科学家、诺贝尔奖得主 Geoffrey Hinton 被称为“AI 教父”，他认为，“AI 消灭全人类的概率为 10%，并不是一种荒谬的说法。”

Hugging Face 首席执行官 Clément Delangue 上周提出了不同看法。他表示：“询问 Jacob Carlson 关于 AI 导致人类灭绝的风险，就像询问空调维修工有关气候变化的问题一样。”他还称：“这并不意味着问题本身没有趣味或是错误的，但我们需要从客观角度审视这一问题。”

当被问及他认为 AI 导致人类灭绝的概率是多少时，Clark 表示：“我不认为这类统计数字非常有用。”但他补充说：“让 AI 成为一个完全不受监管的行业并不可取。”他强调：“我们正在承担巨大的风险并掷骰子”，而且“重要的是，我们需要改变这个行业的发展方向。”

美国议员提出《Kill Switch Act》，赋予政府关闭权限

美国议员提出了《Kill Switch Act》。该法案将要求公司安装能够强制停止存在问题的 AI 工具的装置。法案还包含相关条款，授予特定政府机构要求关闭 AI 工具或限制其使用的权限。

常见问题

Anthropic 联合创始人 Jack Clark 于当地时间 15 日提出了什么建议？

Jack Clark 在接受 BBC 采访时表示，社会应要求 AI 公司安装能够强制关闭 AI 系统的紧急关闭开关。他强调，立法机构应要求公司安装紧急关闭开关，并允许第三方验证这些系统。

Anthropic 研究人员对 AI 风险发出了哪些警告？

Anthropic 研究人员 Jacob Carlson 在离开公司前警告称，AI 可能在未来 10 年内毁灭人类。Anthropic 科学家 Evan Hubinger 估计，未来 10 年内，人类因 AI 而灭绝的概率为 10% 或更高。诺贝尔奖得主 Geoffrey Hinton 表示，AI 消灭人类的概率为 10%，“并不是荒谬的说法”。