小模型才是新前沿

当前智能体架构中最有趣的转变，并非来自更大的模型，而是那些体积小巧、高度专用、且能在智能体实际运行环境中工作的模型正变得越来越可行。当一个预测模型以四种尺寸发布，最小仅 500 万参数，并明确为 CPU 高效和零样本就绪而设计时，它向构建者传递了一个清晰的信号：你不再需要一个数据中心，就能在特定任务上获得最先进的表现 [1]。

这改变了智能体的定义。过去两年里，默认的假设是任何有意义的能力都必须通过一个大型前沿模型来实现。你只能接受延迟、成本和隐私方面的妥协，因为别无选择。一个能在 CPU 上运行的 500 万参数模型打破了这种假设。这意味着智能体的预测组件可以与应用的其他部分存在于同一个进程中，无需网络调用，无需按 Token 计费，也没有数据离开机器。

治理视角

这对治理的影响起初并不明显。当模型在本地运行时，评估的叙事就变了。你可以在部署前，在自己的环境中，用自己的数据对其进行测试。你可以锁定确切的版本。你可以审计它看到了什么以及输出了什么。当模型是一个可能在你不知情的情况下发生变化的远程 API 时，以上这些都很难做到。

谷歌最近为 Gemini 4 Argon 发布的安全文档，强调了为了让一个大型模型足够安全以广泛暴露，需要付出多么巨大的努力 [2]。这项工作很有必要，但它也提醒我们：你外包给前沿模型的每一项能力，都伴随着一个你无法控制的治理面。你能迁移到小型、本地、可审计模型的能力越多，这个治理面就越小。

浏览器作为智能体边界

ChatGPT 的 Chrome 扩展新闻从另一个角度指向了同一个方向。该扩展现在可以读取你打开的标签页，并将聊天带入你正在浏览的页面 [3]。这是一个便利功能，但它也表明了智能体上下文的栖身之所。浏览器正成为智能体辅助工作的主要界面，而相关的数据已经在那里了：你打开的标签页、你正在阅读的页面、你手头正在处理的任务。

对构建者来说，这是一个警告。如果你的智能体上下文来自一个读取标签页的浏览器扩展，你需要仔细思考这对用户同意、数据最小化和用户理解意味着什么。一个为了某个功能而安装扩展的用户，可能没有意识到这个扩展现在能看到他们正在浏览的一切。这不是回避浏览器集成的理由，而是要让边界变得明确、行为变得可检查的理由。

现在该构建什么

最实际的收获是审视你的智能体架构，并问一问哪些能力真正需要一个前沿模型。预测、分类、提取、路由——这些任务正越来越多地可以通过小型本地模型来实现，你可以诚实地评估它们，并在没有网络依赖的情况下进行部署。把大型模型留给那些真正需要开放式推理的任务，让它们的成本和治理负担物有所值。

从一个组件开始。选一个目前通过远程 API 实现的单一能力，看看一个小型模型能否在本地处理它。根据你自己的数据，衡量其延迟、成本和准确性。如果它能胜任，你就刚刚减少了攻击面、降低了账单，并减轻了对一个你无法控制的供应商的依赖。这不是妥协，而是整个领域正在前进的方向。