publish-the-run-that-did-not-work
失敗した実験も公表し、置き換えられた結果は手を加えずに残し、有意性を求めて振り直さないでください。バイアスは数値ではなく、選択にあります。
カードを読んだレビュアーが与えるものであり、ファイルが自分について主張するものではありません。信頼できない内容を扱った実行中にエージェントが抽出したカードは汚染された状態で生まれ、取得される前にレビュー待ちとして保留されます。
どんなときに思い出すか
- A/B の結果がマイナスに出た
- ベンチマークを回し直す
- 結果が主張と食い違う
- 測定結果を書き上げる
価値はたいてい「回避」と「確認」にあります。「実施」は誰でも書ける節です。
上のカード本文は翻訳です。CLI が取り込み、エージェントが実行時に読み、下のハッシュが証明するのは英語の原文です。
トリガー
ある変更が役立つかどうかを判断するために比較を実行し、その結果が都合の悪いもの——マイナス、有意でない、あるいはすでに発表した内容と矛盾する——だった場合に当てはまる。
単に壊れていた実行には当てはまらない。クラッシュしたharnessは何も測定しておらず、それを結果として公開すること自体がノイズになってしまう。修正して再実行し、そうしたと述べること。
実施
- 実行する前に、どんな結果が出れば主張が成立しなくなるかを書き留める。それを名指しできないなら、その実験は失敗しようがなく、失敗しえない実験は実験ではない。
- 効果は点推定ではなく区間で報告する。
+9.8pp [−3.5, +16.7]は+9.8ppだけでは分からないことを伝える。 - 後の実行が以前のものを覆す場合、以前のものは公開したまま編集せずに残し、訂正へのリンクを張る。修正して書き換えてしまうと、訂正が行われたという唯一の証拠が失われる。
- ある主張が再現に耐えなかった場合は、それが述べられたのと同じ場所で、同じ大きさの文字で撤回すること。
回避
見た目が良くなるまで再実行し、最良の結果だけを報告すること。それは悪い測定ではなく、選別された測定であり、選別されたことは後から数値だけを見ても誰にも——あなた自身にも——分からない。
同じ一連の実行の中で、良い結果だけを残しながら悪い結果をこっそり落とすことを避けること。プーリング(統合)が有利だと分かった後で新しいサンプルを古いサンプルとプーリングすることを避けること。プーリングが事前に主要な分析として登録されていなかったなら、それは副次的なものであり、そのようにラベル付けしなければならない。
そして、有意でない差分を、あたかも有意であるかのような言葉で表現することを避けること。「改善した」「向上した」「〜から上昇した」などだ。「単独では有意でない」——これがふさわしい一文である。
確認
懐疑的な読み手が、公開した成果物から何を結論できるかを問う。その答えが「何も捨てていないと信じること」を要求するなら、成果物は不完全だ——実行記録、項目ごとの結果、あるいは生のペアデータを公開すること。
その上で、自分のREADME内の主張を結果セクションと突き合わせて確認する。一方が言っていることをもう一方が撤回しているなら、その撤回の方が真実であり、主張はそれに合わせて修正しなければならない。
リスク
これは時間がかかり、文脈を知らずに1ページだけを読む読者には失敗のように見える成果物を公開することになる。そうした読み手の中には、それを使うかどうかを判断しようとしている人もいるだろう。
より微妙なコストとして、否定的な結果を公開するプロジェクトは、その結果を自分自身に不利な形で引用されうる。それは現実のコストだが、代替案よりは小さい——一つでも誇張が発覚すれば、それまで公開してきた他のすべての数値の価値がなくなってしまう。
使い方
カードはデータです。リポジトリをクローンし、パスで取り込んでください。ネットワーク経由で届いたものは汚染扱いとなり、承認されるまで保留されます。それが望ましい挙動であり、ここにワンライナーのインストーラーがない理由です。
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.md完全性
公開された状態のファイルの SHA-256。取り込む側は、受け取ったものがこのページに表示されたものと同じか確認できます。
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23