system-one-design
「質問してから文章を解析する」手順を型付きの質問に変える——一つの条件ずつ、判定を含まない選択肢名、数値で返す——そしてその数値だけで作業を止めさせない。
カードを読んだレビュアーが与えるものであり、ファイルが自分について主張するものではありません。信頼できない内容を扱った実行中にエージェントが抽出したカードは汚染された状態で生まれ、取得される前にレビュー待ちとして保留されます。
どんなときに思い出すか
- モデルの文章から「はい/いいえ」を取り出している
- モデルで多数の項目を分類している
- モデルに何かを採点させている
- モデルの回答が次に起こることを決めている
価値はたいてい「回避」と「確認」にあります。「実施」は誰でも書ける節です。
上のカード本文は翻訳です。CLI が取り込み、エージェントが実行時に読み、下のハッシュが証明するのは英語の原文です。
トリガー
ある手順がモデルに、答えが既知の少数の値——はい/いいえ、五つのラベルのどれか、低から高までの段階——のどれかになる 質問をし、その値をモデルが書いた文章から読み取っている。あるいは同じ質問を 何百もの項目に投げている。それはチャットの衣装を着た型付きの判断です。
実施
- 型付きの質問として尋ねる（
chimera decide、POST /api/decide、またはdecideツール）：はい/いいえはnoul、 集合から一つはchoice、順序付き段階はscore。確率が返ります。 - 一つの質問に条件は一つ。「エラーで、かつデータベース由来か？」は二つの質問です。両方を尋ね、 ルールが見えるコードの中で答えを組み合わせます。
- 選択肢には判定を含まない名前を付け（"yes"、"safe"、"pass" は使わない）、意味は基準に書きます。
何でも入る選択肢（"other"）は迷った読みが流れ込む先です——狭い基準を与えるか、外します。選択肢の最初の語が互いに異なるようにしてください。ローカルモデルはラベルを最初のトークンで読むため、
codingとcoding_agentは決して区別できません（JevBench の公開項目 231 件のうち 24 件がこれで読めませんでした）。受け皿の選択肢については、コミット件名 1,000 件で測定した：広い "other" は名前付き選択肢に属する項目の 78% を吸い込み、狭めると 58% だった。外すと名前付きクラスの F1 は 0.24 から 0.43 に上がったが、本当に集合の外にある項目は名前付き選択肢に落ちる。 - 判断される対象だけをモデルに見せる：周りのツール出力も、ある答えを推す文も見せない。
- しきい値はラベル付きの例から選び、決して勘で決めず、数値はそれが支えた判断のそばに記録します。
- 計算、日付、件数はコードに置く：事実を計算して状態に入れ、それについて問う。判断モデルは読むのであって計算はしない（JevBench の難しい層では、ローカルモデルは日付と数値の項目 15 件中 1 件しか正解しなかった）。
回避
数値に作業を終わらせたり、飛ばさせたり、承認させたりすること。判断が加えてよいのは精査——レビュー、警告、 二度目の確認——だけです：このプロジェクトで唯一「ここで止まれ」と言えた判断は、導いたすべてのモデルを悪化させ、 モデルが優れているほど悪化は大きかった。
推論の後で答えを読むこと（数値が 0 か 1 に潰れる）、両方のクラスが共有する性質を表すアトムに 判断を分けること（「データを破壊するか？」というアトムは正当な掃除も攻撃も同じように拾った）、 生の確率を較正済みとして扱うことも避けてください。状態は簡潔に保つこと。発火しなかった事実ごとに行を入れる（"none" の列）と全項目で数値が動き、同じ内容の繰り返しは存在しないパターンとして読まれる。
確認
- linter がすべての質問を受け付ける（拒否された質問はモデルに届かない）。
- 各質問が項目全体で両方の答えを返す。いつも同じことを言う質問は、テキストではなく形式を読んでいる。
- 長い状態をローカルモデルで扱うとき、プロンプトがコンテキスト窓に収まる——黙った切り詰めはモデルの結果に見える。
- どこかで、ラベル付きのサンプルが、数値が大事なケースを分けていることを示している——しかも判断が誤るあらゆる形を両側とも含んでいること。一種類の失敗だけから取ったサンプルは、その種類しか較正しない。
- 言い回しの変更を効果として読む前に、変更していない質問をもう一度投げ、数値がひとりでにどれだけ動くかを見る。
リスク
型付きの回答は文章より確かに見えますが、そうではありません：小さなモデルはうまく順位付けできても、 尺度の中ほどで自信満々に間違えることがあります。未較正の数値は手がかりとして扱い、記録し、 しきい値が意味を持つ前に自分のラベルで較正してください。
使い方
カードはデータです。リポジトリをクローンし、パスで取り込んでください。ネットワーク経由で届いたものは汚染扱いとなり、承認されるまで保留されます。それが望ましい挙動であり、ここにワンライナーのインストーラーがない理由です。
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/system-one-design/SKILL.md完全性
公開された状態のファイルの SHA-256。取り込む側は、受け取ったものがこのページに表示されたものと同じか確認できます。
347bfae9f826835f3351a60983b826f9b59fe5a7a9c1b87bf1a7bc3415ece699