微软纳德拉呼吁为AI设置紧急刹车，并加强人类控制

微软董事长兼首席执行官萨蒂亚·纳德拉周六呼吁，在构建先进人工智能系统时加入遏制机制、独立控制措施和紧急刹车，以便获授权人员在模型执行任务期间暂停或关闭模型。纳德拉在社交平台 X 上发文称，非确定性模型需要强大的确定性系统设计、人工控制和可靠的操作流程。这一言论发表之际，顶尖科技高管和研究人员正警告人工智能安全协议不足，并称该技术发展过快。

纳德拉提出配备紧急刹车的人工智能安全框架

纳德拉在 X 上写道，人工智能系统应围绕可观测性原则进行设计。这些原则包括模型多样性、以人类可读的方式记录模型行为、持续进行系统测试、独立控制和可审计性、遏制机制以及事件披露。纳德拉表示，将前沿闭源模型和开放权重模型视为内部威胁，是构建此类系统的一种方式。他写道，最值得信赖的超级智能系统，不会是配备了我们最信任模型的系统，而是让我们最不信任模型的系统。

科技领袖发出人工智能安全警告

纳德拉发表上述言论之际，微软联合创始人比尔·盖茨、Anthropic 首席执行官达里奥·阿莫代伊、OpenAI 首席执行官萨姆·阿尔特曼和 SpaceX 首席执行官马斯克都曾警告人工智能安全协议不足。上个月，一名人工智能研究人员离开 Anthropic，并指责该公司和 OpenAI 拿我们的生命冒险。当天晚些时候，Anthropic 一名专注于人工智能安全的对齐负责人表示，该技术在未来十年内导致全人类死亡的概率超过 10%。

特朗普政府在杰伊·克莱顿领导下成立人工智能特遣队

唐纳德·特朗普总统一再淡化人工智能灭绝风险，并强调该行业需要领先于中国。特朗普宣布成立一支由国家情报总监杰伊·克莱顿领导的新人工智能特遣队，以帮助推动该行业发展并清除不良行为者。

常见问题

萨蒂亚·纳德拉周六提出了哪些人工智能安全建议？

萨蒂亚·纳德拉呼吁，在构建先进人工智能系统时加入遏制机制、独立控制措施和紧急刹车，以便获授权人员在模型执行任务期间暂停或关闭模型。他提出了包括模型多样性、以人类可读的方式记录模型行为、持续测试、独立控制、可审计性、遏制机制以及事件披露在内的可观测性原则。

为什么科技高管警告人工智能安全问题？

包括比尔·盖茨、达里奥·阿莫代伊、萨姆·阿尔特曼和马斯克在内的顶尖高管，已就人工智能安全协议不足以及该技术发展过快发出警告。Anthropic 一名研究人员上个月因安全问题离职，Anthropic 一名对齐负责人表示，该技术在未来十年内可能导致全人类死亡的概率超过 10%。

特朗普的人工智能特遣队是什么？

唐纳德·特朗普总统宣布成立一支由国家情报总监杰伊·克莱顿领导的新人工智能特遣队，以帮助推动人工智能行业发展并清除不良行为者。特朗普淡化了人工智能灭绝风险，并强调在人工智能发展方面保持领先于中国。