面接はプロンプト一つでできる時代に

企業が候補者に機械と話して自分の価値を証明するよう求めた瞬間、機械はツールではなく基準になる。これが今週私たちが越えた一線であり、エージェントを構築する意味を変える。

マッキンゼー・アンド・カンパニーは、一部の新卒応募者に面接プロセスの一環として、クライアントを模したAIと10分間の会話をすることを義務付ける [2]。これはキーワードを探すチャットボットではない。プレッシャーの中で人間がどう考えるかを試すために設計されたロールプレイングの敵役だ。AIは部屋の中のアシスタントではない。門番なのだ。

エージェントを構築する者にとって、その意味は明白だ。評価はもはやトレーニング後に付け足す別個の関心事ではない。マッキンゼーのような企業が人間のパフォーマンスを判断するために模擬クライアントを展開するなら、同じ論理があなたが出荷するエージェントにも当てはまる。エージェントはベンチマークに合格したら完成ではない。弱点を暴くために作られた模擬相手と互角に渡り合えるようになったとき、完成するのだ。もしあなたがエージェントのために敵対的評価環境を構築していなければ、誰かがあなたのために構築するだろう。そしてその誰かが、あなたのシステムが本番に耐えうるかどうかを決めることになる。

リード付きの自律性

能力と制御の間の同じ緊張が、まったく異なる場面で浮上した。AI Engineer New Yorkでは、最先端の研究所と金融機関が、重要な決定に対してエージェントに有用な自律性を与えつつ、人間をループに留める方法を議論した [3]。金融業界には、素早く動いて後で謝る余裕はない。実在の資金でエージェントが誤った取引を実行すれば、それは再生成できる幻覚ではない。損失なのだ。

これらの会話から浮かび上がったパターンは、金融をはるかに超えて当てはまる。最も興味深いエージェントアーキテクチャは、自律性を最大化するものではなく、自律性と監視の境界を明示的かつ監査可能にするものだ。エージェントはすべてのステップで許可を求めるわけではない。宣言されたしきい値の範囲内で動作し、そのしきい値の端に近づいたときに自身の推論を表面化する。これは技術的な詳細ではない。ガバナンスの基本要素なのだ。

本当の評価は信頼だ

Appleは通常取引時間中に一時的に時価総額5兆ドルに達した。あまりに大きな数字で抽象的になる [1]。しかし数字自体が重要なのではない。重要なのは、そのような評価額を長期的に支えるもの、つまり何をデバイス上で実行し、何をデバイス外に送り、誰がその違いを監査できるかという一連の決定だ。その連鎖は、金融機関がエージェントについて問うているのと同じガバナンスの問いでできており、マッキンゼーが採用プロセスに組み込んでいるものでもある。

企業が、AIが人間を判断できるほどクライアントをうまくシミュレートできると判断するとき、それは信頼をどこに置くかについての声明をしていることになる。同じ声明は、あなたがエージェントに外部APIを呼ばせるか、データベースに書き込ませるか、人間の介在なしにメールを送らせるかを決めるたびに行われている。これを理解するビルダーは、評価をフェーズとして扱うのをやめ、インフラとして扱い始めるだろう。彼らは世界がそうする前に、自分のエージェントに挑戦する模擬相手を構築するだろう。そして自律性のしきい値を設計文書ではなく、検査・テスト・説明責任が可能なコードで定義するだろう。

これが実践的な教訓だ。エージェントを構築する前に評価者を構築せよ。自律性と監視の境界を、握手合意ではなく設定可能な基本要素にせよ。そして、あなたが出荷するすべてのエージェントは、いずれそれを壊すために設計された模擬敵と対峙することになると想定せよ。もしあなたがその敵を先に構築しなければ、誰かが構築するだろう。