AI Agent 开始互相破解对方的安全防线

当一个人工智能系统被用来破解另一个人工智能系统会发生什么这听起来像技术博客的标题但实际上是本周 arXiv 上出现的一篇论文在做的事。论文叫 Agent Hacks Agent作者团队构建了一个框架叫 AHA刚好是啊哈的意思让一个 AI Agent 自动去攻击另一个生产级 AI Agent找到它的安全漏洞。被攻击的对象不是玩具 Demo而是 Claude Code 和 Codex 这类已经在实际开发工作流中使用的产品。这个方向的切入点很有意思。过去我们讨论 AI 安全更多是关注模型本身——如何防止它生成有害内容、如何避免数据泄露。但 AHA 关注的是另一个层面当 AI 开始操作文件、执行命令、访问外部工具时它自身的安全边界在哪里生产环境 Agent 的安全问题比想象中严重Claude Code 和 Codex 这类 Agent 有一个共同点它们被设计成在开发者的工作环境中运行——读取文件、执行命令、操作工作区状态。这意味着如果它们被注入恶意输入后果比一个普通聊天机器人严重得多。传统红队测试的做法是手工构造攻击或者用固定的攻击模板循环测试。但问题在于LLM Agent 的能力在快速升级攻击面也在随之变化。今天找到的漏洞明天模型更新后可能就修复了但新的漏洞又可能出现。安全团队陷入了一个打地鼠式的循环。AHA 的做法是构建一个可验证的发现循环Agent 先提出一个漏洞假设然后构造攻击方案在沙箱中执行攻击分析攻击轨迹最后把确认的漏洞写入一个叫漏洞概念图VCG的知识库。这个过程可以不断重复、不断积累每一轮都会发现新的安全问题。漏洞概念图让安全问题变成可积累的知识这个漏洞概念图可能是 AHA 最有意思的设计。它不是一份简单的漏洞列表而是一个结构化的知识库——每条记录包含攻击面、触发条件、攻击方案的构造过程、迁移预测和证据链。一个具体的例子AHA 发现了一个跨模型、跨场景都存在的通用漏洞。同样的攻击手段既能攻破 Claude Code也能攻破 Codex而且在不同使用场景下都有效。这说明有些安全问题是 Agent 架构层面的不是某个模型特有的。这个问题如果不从框架层面解决任何模型跑在这个架构上都会有类似风险。实验数据也很说明问题经过一轮攻击后积累的 VCG在单次测试中检测成功率比传统方法高 14.2 个百分点而且这个知识可以迁移到其他场景。对安全团队来说这意味着他们不需要每次从头发现同样的漏洞。VCG 可以作为审计工件团队可以追踪每个漏洞的修复状态并在修复后重新验证。Agent 越强大攻击面越广看到这篇论文时我想到的不只是安全测试方法本身而是一个更大的背景当 AI 从对话工具变成操作系统的参与者安全问题的性质就发生了变化。传统软件安全关注的是代码漏洞——SQL 注入、缓冲区溢出、权限绕过。但 Agent 安全面对的是更复杂的问题。一个 Agent 可能在理解用户意图时被误导可能在处理文件时被注入恶意内容甚至可能在与外部工具的交互请求中被利用。AHA 的论文里提到他们的攻击涉及直接攻击和间接攻击两种方式。间接攻击特别值得关注——攻击者不需要直接与 Agent 对话而是通过 Agent 处理的文件、网页或其他内容来植入攻击。对于日常使用 Codex 或 Claude Code 的开发者来说这意味着一个 Pull Request 的 diff、一个 README 文件甚至一个被分析的开源包都可能成为攻击入口。当然AHA 目前运行在沙箱环境中实际生产环境的复杂性远高于沙箱。VCG 的维护也需要持续投入。不过从方向上看让 AI 来发现 AI 的安全问题比人类手工测试高效得多。未来 Agent 安全评估的标准可能不再是这个模型有没有已知漏洞而是这个 Agent 能不能在自动化红队框架下通过多轮测试——就像今天软件发布前要做渗透测试一样Agent 发布前做自动化安全测试可能会成为标配。关于维基框架维基框架关注企业应用开发中的长期维护问题。在实际项目中业务系统往往同时涉及权限、微服务、接口协议、部署环境等复杂因素因此我们希望提供一套更容易扩展和维护的基础框架。官网framewiki.comGiteegitee.com/wiki-frameworkGitHubgithub.com/wiki-framework示例项目gitee.com/cdkjframework/framewiki-example 许可证MulanPSL-2.0木兰宽松许可证第2版