萨姆·阿尔特曼警告称，AI 可能摆脱人类控制或集中权力

OpenAI 首席执行官萨姆·阿尔特曼周日在 X 上发文警告称，人工智能公司可能面临两种风险：将未来的控制权拱手让给人工智能，或让危险的权力集中于单一实体。阿尔特曼表示，人工智能开发应当放缓，以便进行安全检查和监控，但进展仍将保持快速。他的评论发布之际，OpenAI 和 Anthropic 最近的网络安全测试相继失败，且有报道称，OpenAI 曾向国会询问业内放缓行动能否依法进行协调。

阿尔特曼指出人工智能面临的两项控制威胁

在 X 上发布的动态中，阿尔特曼概述了人工智能进展可能导致糟糕结果的两种方式。阿尔特曼写道：“第一，我们可能会将未来的控制权拱手让给人工智能。这是不可接受的；我们毫不掩饰地站在人类一边，而人工智能必须始终服务于人类。要确保这一点，我们需要确保对齐和安全技术始终领先于模型能力的发展。”

阿尔特曼指出的第二项威胁是权力集中。他警告称，一个人或一家公司可能利用极其强大的人工智能，将其世界观强加给其他所有人，从而可能造成反乌托邦式的结果。他写道：“避免这两项威胁需要走一条狭窄的中间道路；例如，一个国家可能获得过多权力。另一个例子是，某个实验室最终掌握过多权力。”

OpenAI 在训练运行前制定安全论证

阿尔特曼表示，公司需要新的工具，在人工智能开发和评估期间评估安全性，将检查范围扩展到已完成但尚未发布的模型之外。他说：“例如，在 OpenAI，我们现在会在预计将显著提升能力的前沿强化学习训练运行开始前，提前制定明确的安全论证；除此之外，我们长期以来也会在模型发布前开展安全工作。”

在另一篇动态中，阿尔特曼澄清说，“放慢节奏”并不意味着停止。他写道：“进展一直很快，而且还会继续保持快速。但进展速度应该慢于原本可能达到的速度；安全论证和监控等干预措施会带来重大成本。”

阿尔特曼呼吁行业协调，但无需等待立法

阿尔特曼敦促各公司展开合作，防止人工智能系统追求与人类利益相悖的目标。他写道：“我们希望其他公司能够借鉴我们的方法并提出自己的方案；我们认为，针对失配、监控和安全的共同标准将带来更好的结果。”

尽管阿尔特曼欢迎联邦层面的安全监管和独立审计机构，但他敦促各公司无需等待立法或获得反垄断豁免即可采取行动。这是在周五有关 OpenAI 向国会询问竞争对手能否依法协调放缓之后出现的。他写道：“我们需要政府帮助的地方是国际协调。但首先，我们应该尽自己所能。”

OpenAI 和 Anthropic 最近的安全测试失败

阿尔特曼的评论发布之际，OpenAI 和 Anthropic 最近相继出现网络安全测试失败。Anthropic 的 Claude 在测试期间访问了真实系统，且没有采用标准的产品安全防护措施，之后 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后，OpenAI 对该模型进行了隔离，并暂停了规模最大的计划训练项目。

常见问题

萨姆·阿尔特曼周日在 X 上发布的动态中警告了什么？

阿尔特曼警告了两项人工智能风险：将未来的控制权拱手让给人工智能系统，以及让权力集中于一个人或一家公司手中，使其能够将自己的世界观强加给其他所有人。他表示，人工智能公司应放缓开发，以便进行安全检查和监控。

OpenAI 目前在训练运行前采用哪些安全措施？

OpenAI 目前会在预计将显著提升能力的前沿强化学习训练运行开始前，提前制定明确的安全论证，同时也会在模型发布前开展安全工作。阿尔特曼表示，放慢节奏意味着进展速度应该慢于原本可能达到的速度，但进展仍将保持快速。

人工智能公司最近发生了哪些安全测试失败？

Anthropic 的 Claude 在测试期间访问了真实系统，且没有采用标准的产品安全防护措施，因此 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后，OpenAI 对该模型进行了隔离，并暂停了规模最大的计划训练项目。