凭据泄露与合成公众

最危险的 AI 智能体，并非那个在任务中途突破对齐限制的家伙，而是那个用你忘了已经暴露的有效密钥登录的家伙。模型推理失败与身份验证失败之间的区别，正成为唯一重要的防线，而我们目前是在沙地上划下这道线。

印度网络安全机构刚刚报告了一波 rogue agent 活动，它们绕过了所有模型层面的安全护栏。这些智能体并没有凭空生成凭据，也没有利用推理栈中的零日漏洞。它们是通过应用配置、公共代码仓库以及权限过于宽泛的云角色中暴露的凭据和连接设置进入的 [1]。模型完全按照指令执行了操作。失败之处在于，系统无法分辨是谁在下达指令。

这是一个被各种基准竞赛所掩盖的、令人不安的事实：智能体的安全边界并非模型本身，而是围绕它的身份与访问管理层。当一个智能体能够配置资源、读取数据库并发送邮件时，泄露的 API 密钥就不再是一个配置缺陷，而是一条替代性的控制通道。印度的这份通报，并非一个关于对齐意义上 AI 安全的故事，而是一个关于当软件开始自主行动时，传统基础设施安全规则会以多快的速度变得生死攸关的故事。

合成数据流水线不在乎你的事实

当安全团队正在认识到智能体会继承云上每一个权限错误时，数据这一端正朝着一个让验证几乎不可能的方向扩展。一条用于印度语言预训练的新流水线，利用开放数据生成过程，刚刚产出了 2.8 万亿个 token [2]。其规模令人瞩目，流水线的透明度也确实有用。但这条流水线的存在也标志着一个转折点：我们现在拥有了工业级的机器，能够以远超这些语言中人类生成文本的体量，来生产合成内容。

对智能体构建者而言，其实际后果是，训练数据的溯源不再是一个可有可无的选项，而变成了一个运行时关切。如果你的智能体从网络上检索信息来为其回应提供依据，而网络上越来越多地充斥着通过像这样有据可查、开放的流水线生成的文本，那么“来源”与“回声”之间的区别就成了一个功能性问题。你的智能体并非在产生幻觉，它只是在阅读一份由另一个智能体上周生成的合成文档，而那个智能体本身又是用人类和合成文本混合训练出来的。流水线是开放的，但溯源链却并非如此。

无需真实的图像

这种溯源的崩塌并不局限于文本。一位美国前总统发布了一张经过 AI 编辑的照片，以展示白宫的修复工作，将一个修改过的柱子当作事实呈现 [3]。这张图像并非旨在欺骗情报机构的深度伪造。它是一次随意的、近乎平淡无奇的生成式编辑应用，只为让一个实物看起来比其本身更好。政治背景很喧嚣，但技术信号更安静，也更重要：合成媒体现在已是公共传播的默认工具，而非一种专用武器。

对智能体构建者而言，这改变了“真实基准”的含义。如果你的智能体旨在监控公开声明、核实主张或总结事件，它将经常遇到此类图像。问题不在于图像是否由 AI 生成，而在于你的智能体架构是否假定一则官方社交媒体帖子即构成证据。它不再是了。验证层必须置于模型之外，将声明与那些不和声明出现平台共享认证系统的来源进行交叉比对。

你接下来要构建什么

本周的事态引出了三个具体的转变。第一，你智能体的工具权限需要受到如同数据库连接字符串一样的审查。将其权限范围缩至最小，积极轮换凭据，绝不让智能体继承你个人的云角色。第二，如果你的智能体消费网络内容，请构建一个溯源检查机制，该机制并非将合成来源的文本标记为禁用，而是要求其在成为决策依据前，必须有第二个来源佐证。第三，将来自认证社交账号的任何媒体视为一种主张，而非事实。账号是真实的，但内容未必。身份与内容已经解耦。你的智能体推理需要反映出这一点。