本文へスキップ

← ブログ

分析

あなたのエージェントのサプライチェーンは、今や脅威モデルそのものだ

今週、3つのシグナルが一点に収束する。あなたが構築するエージェントは、それが触れるスタックと同等にしか信頼できず、そのスタックは急速に分断されつつある。

末尾に挙げた記事をもとに、私たち自身が書いた文章です。論旨は私たちのもの、取材は各媒体のものです。

AIエージェントにおける信頼の境界は、モデルではない。サプライチェーンだ。モデルをツール、データベース、チップに接続するとき、あなたはそのチェーンの全リンクのセキュリティ態勢を継承することになる。そして今週、3つの異なるシグナルが、それらのリンクが地政学的およびアーキテクチャ上の断層線へと硬化しつつあることを示している。

Microsoftのセキュリティ研究者たちは、従業員が展開するエージェントを内部脅威として分類し始めた。その理由は率直だ。最先端モデルは信頼できず、それらが接続するシステム(スプレッドシート、コードリポジトリ、内部API)は、モデルを構築した研究所によって制御されていない [1]。これはプロンプトインジェクションに関する理論上の懸念ではない。これは運用上のスタンスだ。エージェントは、あなたがプロビジョニングしていないユーザーであり、あなたが監査していない認証情報を使って、あなたが再現できない推論パスを実行している。今日エージェントを構築している者にとって、この意味するところは、ツール呼び出しレイヤーがもはや単なる統合の問題ではないということだ。それは、既存のIAMでは解決できるように設計されていなかった、パーミッションの問題なのだ。

その問題は、エージェントの下にあるハードウェアが変化するときに複合化する。DeepSeekは現在、Huaweiとチップ設計で協業しており、中国製プロセッサを現代のAIワークロードが必要とするパフォーマンス領域に近づけることを目指している [2]。その目標は明白で、アメリカ製シリコンへの依存を減らすことだ。エージェントビルダーにとって、これは遠い産業界の話ではない。これは、推論基盤が二極化しつつあることを意味する。あるクラウドにデプロイされたエージェントはNvidia上で動作し、別のクラウドにデプロイされたエージェントは、異なるメモリプロファイル、異なる数値精度の癖、異なるセキュリティ証明チェーンを持つHuawei設計のチップ上で動作するかもしれない。モデルカードはこれを捉えない。ベンチマークスコアはこれを反映しない。しかし、エージェントの振る舞い、特にレイテンシに敏感なツール呼び出しや長期の推論は変化するだろう。

ツールレイヤーは、信頼が最初に破綻する場所だ

Simon Willisonによるllm-tools-datasette 0.1.1のリリースは、このパターンを具体的に示している [3]。このライブラリは、DatasetteインスタンスをツールとしてLLMに公開する。これはまさに、エージェントを有用にする種類の統合だ。ライブデータベースにクエリを実行し、構造化された結果を取得し、それに基づいて行動する。しかし、これはモデルにSQLインターフェースを与えたときに起こる信頼の圧縮も示している。モデルはスキーマの機密性を理解しない。どのカラムにPIIが含まれているか、どのテーブルがコンプライアンス上の理由で追記専用かを知らない。それらの制約は、ツール定義、SQLユーザーの権限、そしてエージェントランタイムとデータベース間のネットワークパスに存在する。これらのいずれかが誤って設定されている場合、モデルは悪意があるからではなく、それを必要とする質問をされたために、喜んでデータを流出させるだろう。

ビルダーにとって何が変わるのか

実践的な教訓は、エージェントアーキテクチャがサプライチェーンアーキテクチャになりつつあるということだ。そこから3つのことが導かれる。

第一に、ツールのパーミッションはデフォルトで最小権限であり、ユーザーごとではなくエージェントインスタンスごとにスコープされる必要がある。エージェントを起動した人間が広範なデータベースアクセス権を持っているかもしれないが、エージェントはそれを継承すべきではない。第二に、ハードウェアパスが重要になる。あなたのエージェントが監査できないチップ上で推論を実行する場合、それがクローズドなクラウドであれ、地政学的に制約されたサプライチェーンであれ、あなたは検証できない信頼依存を受け入れていることになる。第三に、エージェントにアタッチするすべてのツールは契約である。それは単なる関数シグネチャだけでなく、セキュリティ境界(アクセスできるデータ、引き起こしうる副作用、ログに記録する内容)を公開すべきだ。

Microsoftのスタンスは、企業がまもなく、エージェントを本番システムに近づける前にこの契約を要求するようになることを示唆している。DeepSeekとHuaweiの協業は、その契約の下にあるハードウェアが均一ではなくなることを示唆している。そしてllm-tools-datasetteのようなツールは、その表面積がガバナンスよりも速く拡大していることを示唆している。あなたが今日構築するエージェントは、あなたが完全には制御できないスタックの上で動作するだろう。あなたが制御できる唯一のものは、モデルと世界の間のインターフェースだ。それを狭くし、監査可能にし、取り消し可能にせよ。

何を読んだか

  1. 1
  2. 2
  3. 3
    Release: llm-tools-datasette 0.1.1

    Simon Willison ·

見たうえで見送ったもの: 389 matérias examinadas de 571 reunidas, 3 lidas para este texto. Descartadas: HTTP 429 (18), publicado há 18272h (4), publicado há 3468h (3), publicado há 168h (2), publicado há 3492h (2), publicado há 6368h (2)

https://chimeraagent.space