chimera-give-the-denominator
分母とその内訳を欠いた比率は、どの桁も真実のまま誤解を招きます——n を示し、分子のうちどれだけが既知のノイズなのかを述べてください。
カードを読んだレビュアーが与えるものであり、ファイルが自分について主張するものではありません。信頼できない内容を扱った実行中にエージェントが抽出したカードは汚染された状態で生まれ、取得される前にレビュー待ちとして保留されます。
どんなときに思い出すか
- 失敗率を報告する
- 要約に割合を載せる
- 数字が深刻に見える
- 変更の前後を比べる
- ベンチマーク結果を書く
価値はたいてい「回避」と「確認」にあります。「実施」は誰でも書ける節です。
上のカード本文は翻訳です。CLI が取り込み、エージェントが実行時に読み、下のハッシュが証明するのは英語の原文です。
トリガー
レポート、コミットメッセージ、ベンチマーク表、あるいは行動を起こす相手へのメッセージに、比率・パーセンテージ・件数を書き込もうとしている場合に当てはまる。「実行の34%が失敗した」「エラーが3倍」「カバレッジが下がった」といったものだ。
読み手がすでに分解できる数値には当てはまらない。単一の実測レイテンシ、バージョン文字列、目の前にある差分のファイル数などだ。ここでのリスクは集計値に固有のもの——自分が選んだ集合を、やはり自分が選んだ別の集合で割って算出した量であり、その両方の選択が文中では見えなくなっているものだ。
実施
- 比率の隣には必ず生の件数を書く。
34% (17/50 runs)のように。分母を述べられないなら、自分が何を測ったのかまだ分かっていない。 - どの分母なのかを述べる。試行した実行と完了した実行は別の集合であり、完了した方で割ることはクラッシュを黙って消し去る——まさにあなたに調べようと思わせた母集団を、だ。
- 公開する前に分子を原因別に分解する。その17件の失敗のうち、すでに起票済みの issue はいくつか、既知の不安定なプロバイダーのタイムアウトはいくつか、このマシンでだけ失敗するフィクスチャはいくつか。その内訳を報告すること:
17 failed — 14 are the known connect timeout, 3 unexplained。 - 同じ測定を変更前のベースラインに対しても実行し、差し引く。意味のある数値は、
mainでは生き残らない部分だけだ。 - サンプルがもう1つ増えるだけで見出しの数字が数ポイント動いてしまうほど n が小さいなら、パーセンテージの代わりにその一文をレポートに書くこと。
回避
"failure rate 34%" ——これは真実であり、そして読み手に、先週すでに起票したタイムアウトのために丸一日を費やさせる。"17/50 failed; 14 are the ollama connect timeout (issue open), 3 are new" と書けば、その一日は3件の方に使われる。
生存者バイアスの分母を避けること。rate = failures / completed が典型例だ。行を出力する前に死んだ実行は分子からも分母からも消えるため、システムが悪化するほど指標は良くなる。
分母がおよそ20未満のパーセンテージを、n を添えずに書くことを避けること。50% → 67% は本物の改善かもしれないし、3回のうち1回が反転しただけかもしれない。紙面上ではその2つを区別できない。
Chimera はまさにこの形の撤回を公開しており、それがこのカードが存在する理由である。bench/learning_lift/RESULTS.md はファミリー内転移のギャップとして有意な +6.7% を報告したが、実行7——十分な検出力で行った同じ測定——はそれを支持しなかった。数値は本物で、計算も正しく、それでもなお小標本のゆらぎとして説明するのが最も妥当だった。その撤回を可能にしたのは、当初からパーセンテージの隣に実行回数が公開されていたことだ。もしそのページに「+6.7%」しか載っていなかったら、再検討する手がかりは何もなく、その所見は静かに事実になっていただろう。
確認
その一文を、自分のデータを見られない誰かに渡し、生の件数を復元してもらう。できないなら、その一文は不完全だ——これは二者択一の検査であり、10秒で済む。
数値が意思決定を左右する場合の2つ目の確認: 変更を加えていないベースラインで測定をやり直す。そこで再現される分子の割合は、あなたの変更に関するものではなく、その上に築かれたいかなる主張もハーネスについての主張である。
リスク
何にでも適用すると、読める文章が括弧の沼になり、読み手は括弧を読み飛ばすようになる——それは元の問題より悪い。分母がページ上にありながら読まれないからだ。完全な分解は、誰かが行動を起こす数値のために取っておくこと。
より鋭いリスクは逆方向にある。原因別の分解は、本物の問題を小さく見せるための道具でもある。14件の失敗に「既知のノイズ」というラベルを貼ることが誠実であるのは、そのラベルがどちらに有利かを見る前に割り当てられていた場合だけだ。要約を書きながら「既知」のバケツを広げている自分に気づいたなら、その数値は証拠ではなく結論だったということだ。
分母を明示しても、悪い分母が救われるわけではない。2/3 (n=3) は依然として3回の実行であり、分母はその弱さを修正するのではなく、見えるようにするだけだ。
使い方
カードはデータです。リポジトリをクローンし、パスで取り込んでください。ネットワーク経由で届いたものは汚染扱いとなり、承認されるまで保留されます。それが望ましい挙動であり、ここにワンライナーのインストーラーがない理由です。
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/chimera-give-the-denominator/SKILL.md完全性
公開された状態のファイルの SHA-256。取り込む側は、受け取ったものがこのページに表示されたものと同じか確認できます。
a95d8e10515e848efd16e1566d93454164e85d57a7dcb8aa35e7a2e593790766