美国军方因 AI 聊天机器人捏造中国船只情报而中止行动

美国军方官员在今春发现推动此次任务的情报是由 AI 聊天机器人凭空捏造后，中止了针对一艘中国船只的武装行动，而当时飞机已经升空。这份虚假情报报告在与伊朗的战争期间流传，声称这艘船载有核武器计划所需的组件——这一信息源自特种作战司令部一名分析员向 AI 系统提出的查询，而该系统错误识别了船只的货物清单。此事发生之际，五角大楼正加速将 AI 整合到军事行动中，以维持对中国的战略优势，这引发了官员和专家的担忧：错误信息可能在受到质疑前，沿着指挥链层层传递。

特种作战分析员通过两次 AI 查询生成虚假情报

虚假情报源自特种作战司令部一名分析员。他向 AI 聊天机器人发出查询，要求将开源数据与机密信号情报综合起来。该聊天机器人错误识别了船只的货物清单。随后，分析员第二次使用该工具，将错误的调查结果整理成一份看似正式的摘要，并沿着指挥链层层传递。CNN 于周五报道了这一事件。

军事专家呼吁在险些酿成事故后为 AI 增加防护措施

GovAI 研究员、美国陆军退役军官 Jake Steckler 在书面回应中表示，军人了解大语言模型固有的不确定性非常重要。Steckler 强调，对于任何可能导致使用武力的决策，例如目标打击、情报分析或作战规划，理解这一点尤其关键，并指出这些决策关系到生死。

Steckler 表示，这起事件应当成为呼吁为 AI 增加更多防护措施的契机，而不是避开 AI 的理由。他表示，在合适的场景下并配备适当防护措施时，这些工具可以发挥作用，但若将采用速度置于一切之上，很可能会导致类似事件发生，使军人失去对这些系统的信任，而这最终只会减缓其采用速度。

五角大楼整合 AI 以加快军事决策

美国军方正在整合 AI，以加快决策并维持对中国的优势。五角大楼称，AI 能够显著提升杀伤链的速度，使指挥官能够在合适的时间作出响应。正是这种让 AI 具有吸引力的速度，也可能在人工监督不足的情况下使幻觉信息得以传播。

常见问题

今年春天美国军方使用 AI 聊天机器人生成情报时发生了什么？

美国军方官员在今春发现相关情报是由 AI 聊天机器人凭空捏造后，中止了针对一艘中国船只的武装行动。发现错误时，军用飞机已经升空。虚假报告声称这艘船载有核武器计划所需的组件。

AI 聊天机器人是如何生成有关这艘中国船只的虚假情报的？

特种作战司令部一名分析员向 AI 聊天机器人发出查询，要求将开源数据与机密信号情报综合起来。该聊天机器人错误识别了船只的货物清单。分析员第二次使用该工具，将错误的调查结果整理成一份看似正式的摘要，并沿着指挥链层层传递。

这名军事专家在 AI 事件后建议采取哪些防护措施？

GovAI 研究员、美国陆军退役军官 Jake Steckler 表示，这起事件应当成为呼吁为 AI 增加更多防护措施的契机。他强调，军人必须了解大语言模型固有的不确定性，尤其是在可能导致使用武力的决策中，例如目标打击、情报分析或作战规划。