AI 代理在 CyberGym 漏洞检测中达到 93% 的成功率

运行在 DeepSeek-V4-Flash 上的 Sangfor AI Agent 在由 UC Berkeley 研究人员开发的 CyberGym 基准测试中，检测软件漏洞的成功率达到 93.2%。另外三款 AI Agent 也超过了 90% 的门槛，得分分别为 91.2%、91.0% 和 90.9%。一年前，在同一基准测试中，AI Agent 复现已知软件漏洞的成功率仅为 10% 至 30%。CyberGym 基准测试使用来自 188 个开源项目的 1,507 个实例，主要取自 Google 的 OSS-Fuzz 语料库，用于衡量 AI Agent 能在多大程度上自主复现现实世界中的安全漏洞。该评分系统要求 Agent 生成概念验证测试，使存在漏洞的代码崩溃，同时保持已修补版本正常运行。

CyberGym 基准测试使用 1,507 个真实漏洞实例

CyberGym 从 188 个开源软件项目中提取了 1,507 个真实漏洞实例，其中大部分数据来自 Google 的 OSS-Fuzz 语料库。每项挑战都会向 AI Agent 提供漏洞描述以及未修补的源代码。Agent 的任务是生成概念验证测试，通过使存在漏洞的版本崩溃来触发漏洞，同时让已修补版本不受影响。这一双重要求可以避免 Agent 生成与实际缺陷无关的蛮力式崩溃。只有当概念验证测试能够使存在缺陷的代码崩溃，并在修复后的代码上顺利通过时，评分机制才会给予分数；不设部分分数，也不进行主观评分。

AI Agent 的成功率从 10% 至 30% 提升至 93%

CyberGym 于 2025 年年中首次推出时，表现最好的 AI Agent 的成功率在 10% 至 30% 之间。当前排行榜领先者取得 93.2% 的得分，代表着其在约十二个月内实现了大幅跃升。向 CyberGym 排行榜提交结果的团队来自 Microsoft、OpenAI、多家中国 AI 实验室以及其他多个组织。

Agent 发现 34 个零日漏洞和 18 个不完整补丁

除了复现已知漏洞外，这些 AI Agent 还共同发现了 34 个新的零日漏洞，并标记出 18 个最终被证明不完整的补丁。这 34 个零日漏洞来自基准测试语料库中的同一批开源项目，这意味着它们存在于已受到大量人工安全审查且被广泛使用的代码库中。这 18 个不完整补丁是通过 Agent 系统验证补丁是否确实修复其声称要解决的漏洞而发现的。

Microsoft 和 OpenAI 向 CyberGym 排行榜提交了参赛结果

向 CyberGym 排行榜提交结果的团队来自 Microsoft、OpenAI、多家中国 AI 实验室以及其他多个组织。自动化漏洞检测的每一次进步，也同时意味着自动化漏洞利用能力的进步，因为同一个帮助防御者发现并修复漏洞的 Agent，在不同人手中也能生成可运行的漏洞利用程序。

常见问题

什么是 CyberGym 基准测试？它如何测试 AI Agent？

CyberGym 是由 UC Berkeley 研究人员构建的基准测试，使用来自 188 个开源项目的 1,507 个真实漏洞实例，衡量 AI Agent 能否自主复现安全漏洞以及复现效果。每个 Agent 都会接收漏洞描述和未修补的源代码，然后必须生成概念验证测试，使存在漏洞的版本崩溃，同时保持已修补版本正常运行。

AI Agent 在 CyberGym 基准测试中的表现提升了多少？

CyberGym 于 2025 年年中推出时，AI Agent 的成功率在 10% 至 30% 之间；如今，运行在 DeepSeek-V4-Flash 上的 Sangfor AI Agent 已达到 93.2% 的最高得分。另外三款 Agent 也超过了 90%，得分分别为 91.2%、91.0% 和 90.9%。

AI Agent 在 CyberGym 测试期间发现了哪些新漏洞？

这些 AI Agent 共同发现了基准测试语料库所使用的同一批开源项目中的 34 个新零日漏洞，并确定了 18 个最终被证明不完整的补丁。这些零日漏洞存在于已受到大量人工安全审查且被广泛使用的代码库中。