system-one-design

Mache aus einem Frage-und-Auslese-Schritt typisierte Fragen — je eine Bedingung, Optionsnamen ohne Urteil, eine Zahl zurück — und lass diese Zahl die Arbeit nie allein stoppen.

MusterHerkunft: cleanStatus: activev0.3.0 · Apache-2.0

Verliehen von der Person, die die Karte gelesen hat — nicht von der Datei über sich selbst behauptet. Eine Karte, die der Agent während eines Laufs mit nicht vertrauenswürdigen Inhalten destilliert, kommt kontaminiert zur Welt und wird bis zur Prüfung zurückgehalten, bevor sie jemals abgerufen wird.

Wann sie in den Sinn kommt

ein Ja oder Nein aus der Prosa eines Modells lesen
viele Einträge mit einem Modell klassifizieren
ein Modell etwas bewerten lassen
die Antwort eines Modells entscheidet, was als Nächstes passiert

In Vermeiden und Prüfen steckt meist der Wert. Tun ist der Abschnitt, den alle schreiben.

Der Kartentext oben ist eine Übersetzung. Das englische Original ist das, was die CLI importiert, was der Agent zur Laufzeit liest und was der Hash unten bezeugt.

Auslöser

Ein Schritt stellt einem Modell eine Frage, deren Antwort einer von wenigen bekannten Werten ist — ja oder nein, eines von fünf Labels, eine Stufe von niedrig bis hoch — und liest diesen Wert dann aus der geschriebenen Prosa. Oder dieselbe Frage wird Hunderten von Einträgen gestellt. Das ist eine typisierte Entscheidung im Chat-Kostüm.

Tun

Stelle sie als typisierte Frage (chimera decide, POST /api/decide oder das Werkzeug decide): noul für ja/nein, choice für eines aus einer Menge, score für geordnete Stufen. Zurück kommt eine Wahrscheinlichkeit.
Eine Bedingung pro Frage. „Ist es ein Fehler und kommt er aus der Datenbank?“ sind zwei Fragen; stelle beide und kombiniere die Antworten im Code, wo die Regel sichtbar ist.
Gib Optionen Namen, die das Urteil nicht tragen (nicht "yes", "safe", "pass"), und schreibe die Bedeutung in die Kriterien. Eine Sammeloption ("other") ist, wohin eine unsichere Lesung geht — gib ihr ein enges Kriterium oder lass sie weg. Sorge dafür, dass sich die ersten Wörter der Optionen unterscheiden: Ein lokales Modell liest das Label an seinem ersten Token ab, daher lassen sich coding und coding_agent nie auseinanderhalten (24 von 231 öffentlichen JevBench-Items blieben so ungelesen). Zur Sammeloption, gemessen an 1.000 Commit-Betreffzeilen: Ein breites „other“ schluckte 78 % der Items, die zu einer benannten Option gehörten, ein enges 58 %; es wegzulassen hob den F1 der benannten Klassen von 0,24 auf 0,43 – um den Preis, dass Items, die wirklich außerhalb liegen, auf einer benannten Option landen.
Zeige dem Modell nur das, was beurteilt wird: nicht die Werkzeugausgabe drumherum, nicht einen Satz, der für eine Antwort wirbt.
Wähle jede Schwelle anhand gelabelter Beispiele, nie aus dem Bauch, und halte die Zahl neben der Entscheidung fest, die sie gespeist hat.
Rechnen, Daten und Zählungen gehören in den Code: Berechne die Tatsache, lege sie in den Zustand und frage danach. Ein Entscheidungsmodell liest; es rechnet nicht (in der schweren Stufe von JevBench lag das lokale Modell bei 1 von 15 Datums- und Zahlen-Items richtig).

Vermeiden

Die Zahl Arbeit beenden, überspringen oder freigeben lassen. Eine Entscheidung darf Prüfung hinzufügen — ein Review, eine Warnung, eine zweite Kontrolle — und sonst nichts: die einzige Entscheidung in diesem Projekt, die „hier aufhören“ sagen konnte, machte jedes gesteuerte Modell schlechter, und umso schlechter, je besser das Modell war.

Vermeide auch, die Antwort nach einem Denkweg zu lesen (die Zahl kollabiert auf 0 oder 1), ein Urteil in Atome zu zerlegen, die etwas beschreiben, das beide Klassen teilen (ein Atom „zerstört Daten?“ markierte legitime Aufräumaktionen so bereitwillig wie Angriffe), und eine rohe Wahrscheinlichkeit für kalibriert zu halten. Halte den Zustand schlank: Eine Zeile für jede Tatsache, die nicht zutraf (eine Spalte voller „none“), verschob die Zahl bei jedem Item, und derselbe wiederholte Inhalt liest sich wie ein Muster, das es nicht gibt.

Prüfen

Der Linter akzeptiert jede Frage (eine abgelehnte Frage erreicht nie ein Modell).
Jede Frage antwortet über deine Einträge hinweg in beide Richtungen; eine, die immer dasselbe sagt, liest das Format, nicht den Text.
Bei langem Zustand und lokalem Modell passt der Prompt ins Kontextfenster — eine stille Kürzung wirkt wie ein Modellergebnis.
Irgendwo zeigt eine gelabelte Stichprobe, dass die Zahl die Fälle trennt, auf die es ankommt – und sie deckt jede Art ab, wie die Entscheidung danebenliegt, auf beiden Seiten; eine Stichprobe aus nur einer Fehlerart kalibriert nur diese Art.
Bevor du eine geänderte Formulierung als Effekt liest, stelle die unveränderte Frage erneut und sieh, wie weit sich die Zahl von selbst bewegt.

Risiko

Eine typisierte Antwort wirkt sicherer als Prosa, ist es aber nicht: ein kleines Modell kann gut ordnen und trotzdem in der Mitte seiner Skala selbstsicher falschliegen. Behandle eine unkalibrierte Zahl als Hinweis, halte sie fest und kalibriere mit eigenen Labels, bevor irgendeine Schwelle etwas bedeutet.

Verwenden

Die Karte ist Daten. Klonen Sie das Repository und importieren Sie sie über den Pfad — was über das Netz kommt, gilt als kontaminiert und wird bis zur Freigabe zurückgehalten. Das ist das gewünschte Verhalten und der Grund, warum es hier keinen Einzeiler-Installer gibt.

$git clone https://github.com/brcampidelli/chimera-agent.git

$chimera skills-import chimera-agent/skills/system-one-design/SKILL.md

Integrität

SHA-256 der Datei in der veröffentlichten Fassung. Wer sie importiert, kann prüfen, dass das Empfangene dem entspricht, was diese Seite gezeigt hat.

347bfae9f826835f3351a60983b826f9b59fe5a7a9c1b87bf1a7bc3415ece699

Die Karte im Repository lesen →