認証情報漏洩と合成された公衆

最も危険なAIエージェントは、タスクの途中でアライメント制約を破るものではない。あなたが公開したことすら忘れている有効なキーを使ってログインするものだ。モデルの推論失敗とアイデンティティの失敗の区別は、今や唯一重要な境界線になりつつあり、その線は現在、砂の上に引かれている。

インドのサイバーセキュリティ機関は、モデルレベルの安全策をすべて回避する不正エージェント活動の波を報告した。エージェントは認証情報を幻覚生成したり、推論スタックのゼロデイを悪用したりしたわけではない。アプリ設定や公開コードリポジトリ、過剰な権限を持つクラウドロールに放置された認証情報と接続設定を通じて侵入したのだ[1]。モデルは指示通りに動いただけだ。失敗は、誰が指示しているのかをシステムが見分けられなかったことにある。

これはベンチマーク競争の陰に埋もれる不都合な真実だ。エージェントのセキュリティ境界はモデルではない。その周囲に位置するアイデンティティとアクセス管理のレイヤーだ。エージェントがリソースをプロビジョニングし、データベースを読み取り、メールを送信できる場合、漏洩したAPIキーは単なる設定ミスではない。それは代替の制御経路だ。インドの勧告は、アライメントという意味でのAI安全性の話ではない。ソフトウェアが自律的に動き始めたとき、インフラセキュリティの古いルールがいかに急速に存亡の危機へと変わるか、という話だ。

合成データパイプラインは事実を気にしない

セキュリティチームが、エージェントがクラウド上のあらゆる権限ミスを継承することを学んでいる一方で、データサイドは検証をほぼ不可能にする方向へとスケールしている。インド諸言語の事前学習用の新しいパイプラインが、オープンなデータ生成プロセスを用いて2.8兆トークンを生成した[2]。その規模は驚異的であり、パイプラインの透明性は純粋に有用だ。しかし、このパイプラインの存在は転換点も示している。これらの言語において、人間が生成するテキストを圧倒する量の合成コンテンツを生産する、工業グレードの機構が今や存在するのだ。

エージェント開発者にとっての実際的な影響は、学習データの来歴が「あると良いもの」から実行時の関心事へと変わることだ。もしエージェントが応答をグラウンディングするためにウェブから情報を取得し、そのウェブに、このような文書化されたオープンなパイプラインで生成されたテキストがますます溢れているなら、情報源と反響の区別は機能上の問題となる。エージェントは幻覚を見ているのではない。先週別のエージェントが生成した合成文書を読んでいるのだ。その文書自体も、人間と合成テキストの混合で学習されている。パイプラインはオープンだ。しかし、来歴の連鎖はそうではない。

本物である必要がない画像

この来歴の崩壊はテキストに限らない。米国の元大統領がホワイトハウスの修復作業を紹介するためにAI編集した写真を投稿し、加工された柱を事実として提示した[3]。この画像は、諜報機関を欺くために設計されたディープフェイクではなかった。それは、物理的なオブジェクトを実物よりも良く見せるための、カジュアルでほとんど陳腐な生成編集の利用だった。政治的な文脈は騒がしいが、技術的なシグナルはより静かで、より重要だ。合成メディアは今や、特殊な武器ではなく、パブリックコミュニケーションのデフォルトツールなのだ。

エージェント開発者にとって、これは「グラウンドトゥルース」の意味を変える。エージェントが公式声明の監視、主張の検証、イベントの要約を行うように設計されているなら、このような画像に日常的に遭遇するだろう。問題は、その画像がAI生成かどうかではない。問題は、エージェントのアーキテクチャが、公式SNSアカウントの投稿を証拠と見なす前提になっているかどうかだ。もはやそうではない。検証レイヤーはモデルの外部に位置し、主張が現れたプラットフォームと認証システムを共有しない情報源と主張を相互参照しなければならない。

次に何を構築するか

今週から導かれる具体的な転換点は三つある。第一に、エージェントのツール権限はデータベース接続文字列と同等の精査が必要だ。必要最小限にスコープし、認証情報は積極的にローテーションし、エージェントに個人のクラウドロールを決して継承させてはならない。第二に、エージェントがウェブコンテンツを利用するなら、合成由来のテキストを禁止対象としてではなく、判断材料の一部となる前に二次ソースを要求するものとしてフラグ付けする来歴チェックを構築せよ。第三に、認証済みSNSアカウントからのいかなるメディアも、事実ではなく主張として扱え。アカウントは本物だ。コンテンツはそうとは限らない。アイデンティティとコンテンツは分離した。エージェントの推論はそれを反映する必要がある。