chimera-test-the-wiring-not-the-class

本番が間接的に到達するコンポーネント——ファクトリ、レジストリ、プラグインローダー、設定フラグ、ルーター、CLI のエントリポイント、依存性注入コンテナ経由——を作った場合に当てはまる。そしてテストはそれを直接構築し、そのメソッドを呼んでいる。

そのテストはすべて通りながら、稼働中のシステムではそのコンポーネントに到達できない、ということがありうる。登録処理も、フラグのデフォルト値も、そもそもそれを含めるかどうかを決める組み立て側の分岐も、テストのどこも実行していないからだ。

呼び出し側が import して直接呼ぶ純粋関数には当てはまらない。そこでは import こそが結線であり、ユニットテストがそれをカバーする。また、アルゴリズムを意図的に単独でテストしている場合にも当てはまらない——それらのテストは正しく、そのまま残すべきだ。このカードが言っているのは、それだけでは十分ではないということである。

1. ユーザーが実際に触れるエントリポイントを名指しする。CLI のサブコマンド、HTTP のルート、エージェントの実行ループ、スケジュールされたジョブなどだ。テストを書く前にそれを書き留めること。

2. そこから始まり、自分のコンポーネントにコンストラクタ引数を一切渡さないテストを最低1つ書く。その機能を起こすためにテストが自分のクラス名を書く必要があるなら、それは結線をテストしていない。

3. 本番が構築するのと同じやり方でオブジェクトを構築する。本物のファクトリや設定ローダーを呼ぶこと:

   # WRONG — proves the class, not the wiring: the component is handed to the thing under test,
   # so the test passes whether or not anything in production ever hands it over.
   assert "reminder" in render(feature=Feature(text="reminder"))
   
   # RIGHT — build it the way the entry point builds it, then look for the same observable
   assert "reminder" in build_the_real_way(config).render()
   

   Chimera 自身の事例は名指しする価値がある。そのクラスは一度も壊れていなかったからだ。スキルカードには動作するリトリーバーも、動作するストアも、動作するインジェクターもあった——そして chimera/config.py:244 には skill_cards: bool = Field(default=False, ...) と書かれており、素の状態のデプロイでは何一つ注入されていなかった。ユニットテストはすべて通っていた。最終的にこれを捕捉した測定は、生成されたスキル数と注入されたスキル数を数え、39 対 0 を見つけた。

4. そのコンポーネントに到達した場合にしか現れえない観測可能なものを検証する。レンダリングされたプロンプト中のテキスト、書き込まれた行、ログ行、終了コードなどだ。

5. デフォルトを検証する。機能をフラグの背後に置いて出荷するなら、上書きなしでデフォルト値を読み、それが何であるかを検証する別のテストを追加すること。常にフラグを強制的にオンにして実行するスイートは、ユーザーが何を手にするのかを教えてくれない。

エントリポイントのテストは遅く、デバッグしにくく、原因の局在化も劣る。1つ失敗したとき、その機能が壊れていることは分かっても、10あるコンポーネントのどれが壊したのかは分からない。それは現実のコストであり、このカードに対する誤った反応は、エンドツーエンドのテストのためにユニットテストを削除することだ。両方を保つこと——結線のテストは壊れたことを教え、ユニットテストは何が壊れたのかを教える。

本物のエントリポイントを通ることは、CI では触れたくないものに触れてしまうこともある。有料の API、稼働中のデータベース、サンドボックス外のファイルシステムなどだ。エントリポイントに到達する唯一の方法が、金を使うか本番を書き換えることであるなら、無理に押し通さないこと。代わりに組み立て側の関数を直接カバーし、真の経路まであと一歩足りていないことを受け入れる。

そしてこのカードが捕捉するのは到達可能性であって、正しさではない。ある機能はエントリポイントに完璧に結線されていながら、なお誤った答えを返しうる。したがって結線テストが緑であることは、出力が実際に何を言っているかを検証せずに済ませてよい許可ではない。