インフラの清算が始まった

中央集権的な推論が安価で、いつでも利用可能で、政治的な争点にならないという前提が崩れつつある。エージェントを開発する者にとって、その前提はシステム設計の暗黙の支柱だった。状態をどこに置くか、レイテンシの予算をどう設定するか、モデル呼び出しがコモディティか負債かを決める部分だ。今週の三つのシグナルは、その支柱にひびが入っていることを示しており、そのひびは技術的なものではない。社会的、政治的、そして財政的なものだ。

ダブリンでは約二千人がデータセンター拡張に抗議した。ヘルシンキでもさらに千二百人が同様の行動をとった [1]。これは一過性の抗議ではない。大規模推論の物理的フットプリントが、すでにエネルギー網や水資源が逼迫している欧州で、目に見える政治的標的になった初期の兆候だ。コミュニティがデータセンターに反対して組織化するとき、それはモデルアーキテクチャに抗議しているのではない。トークンを大規模に提供するための物的コストに抗議しているのだ。そのコストが今、街頭で争われている。つまり、近いうちに許認可窓口や電力料金の案件でも争われることを意味する。

政治レイヤーはもはや中立ではない

米国の中間選挙の結果は、それ自体が摩擦をもたらした。TechCrunchの分析は、イーロン・マスクの事業に関連するデータセンター拡張の道のりがより険しくなることを指摘しているが、その含意はより広範だ [2]。政治情勢が変われば、エネルギー集約型インフラの規制環境も変わる。許認可は遅れ、税制優遇は再交渉され、電力網への接続待ち行例は長くなる。エージェント開発者にとって、これは単純で不愉快な事実に翻訳される。十八ヶ月後にあてにしているクラウド容量が、予定通りに、あるいは見積もった価格で入ってこないかもしれないのだ。

これは不足の予測ではない。摩擦のないスケーリングの時代、つまリGPUの増設が常に調達の問題であり、政治的問題ではなかった時代が終わりつつあるという認識だ。単一リージョンの推論エンドポイントに依存するエージェントは、ニュースサイクルが今や可視化しつつある脆弱性をアーキテクチャに組み込んでいる。

バリュエーションは縮み、期待は縮まない

AnthropicはIPOを推し進めており、そのバリュエーションは1.25兆ドルから1.75兆ドルの間で、同社が望んでいた2兆ドルを大きく下回り、感謝祭前に800億から1000億ドルの調達を目指している [3]。OpenAIも最近バリュエーションを引下げた。数字は大きいが、方向性は規模よりも重要だ。最も資本を集めたラボが低い倍率を受入れるとき、中央集権的な最先端モデルが純粋な規模によって安くなリ続けるという暗黙の約束は、その担保の一部を失う。バリュエーションが低いということは資本コストが高くなることを意味し、それは結局的にはAPI価格、レート制限、そしてタスクごとにこれらのモデルを何百回も呼出すエージェントワークフローの経済性に波及する。

開発者にとって何が変わるか

実際的な対応は、クラウド推論を放菓することではない。それを唯一の本気の選択肢として扱うのを止めることだ。ロ-カルファーストの実行、つまリエージェントがその判断ループの大部分をデバイス上またはオンプレミスで実行し、複雑性の高いステップでのみリモートモデルにアクセスする形が、ヘッジとなる。コンシューマハードウェアで動作可能な小規模でファインチューニングされたモデルは、趣味的な追及ではなく、回復力戦略となる。タスクの難易度、レイテンシ要件、コスト閾値に基づいてローカルとリモートの推論を動的に選択するルーティングロジックは、最適化から必須要件へと移行する。

エージェントのコアループに単一のプロバイダをハードコードしている開発者は、インフラレイヤーが安定し続けることに賭けている。ダブリンの行進者たち、変化する政治情勢、そして圧縮されたIPOバリュエーションは、すべて同じことを語っている。その賭けはますます分が悪くなっている。今後二年間を生き残るエージェントは、クラウドを贅沢品であり、当然の前提ではないと見なすアーキテクチャを持つものだ。