publish-the-run-that-did-not-work
Veröffentliche das Experiment, das gescheitert ist, bewahre das überholte unverändert auf und würfle nie neu, um Signifikanz zu erreichen. Die Verzerrung liegt in der Auswahl, nicht in der Zahl.
Verliehen von der Person, die die Karte gelesen hat — nicht von der Datei über sich selbst behauptet. Eine Karte, die der Agent während eines Laufs mit nicht vertrauenswürdigen Inhalten destilliert, kommt kontaminiert zur Welt und wird bis zur Prüfung zurückgehalten, bevor sie jemals abgerufen wird.
Wann sie in den Sinn kommt
- der A/B-Test fiel negativ aus
- den Benchmark noch einmal laufen lassen
- das Ergebnis widerspricht unserer Aussage
- eine Messung aufschreiben
In Vermeiden und Prüfen steckt meist der Wert. Tun ist der Abschnitt, den alle schreiben.
Der Kartentext oben ist eine Übersetzung. Das englische Original ist das, was die CLI importiert, was der Agent zur Laufzeit liest und was der Hash unten bezeugt.
Auslöser
Sie haben einen Vergleich durchgeführt, um zu entscheiden, ob eine Änderung hilft, und das Ergebnis ist unbequem: negativ, nicht signifikant, oder es widerspricht etwas bereits Angekündigtem.
Das gilt nicht für einen Lauf, der schlicht defekt war — ein abgestürzter Harness hat nichts gemessen, und ihn als Ergebnis zu veröffentlichen wäre selbst eine Art von Rauschen. Beheben und erneut laufen lassen, und sagen Sie, dass Sie das getan haben.
Tun
- Schreiben Sie vor dem Lauf auf, welches Ergebnis die Behauptung zunichtemachen würde. Wenn Sie es nicht benennen können, kann das Experiment nicht scheitern, und ein Experiment, das nicht scheitern kann, ist keins.
- Berichten Sie den Effekt mit einem Intervall, nicht als Punktschätzung.
+9.8pp [−3.5, +16.7]sagt etwas aus, das+9.8ppnicht aussagt. - Wenn ein späterer Lauf einen früheren ablöst, lassen Sie den früheren veröffentlicht und unverändert, und verlinken Sie die Korrektur. Ihn nachträglich zu bearbeiten entfernt den einzigen Beleg dafür, dass die Korrektur stattgefunden hat.
- Wenn eine Behauptung eine Replikation nicht übersteht, widerrufen Sie sie an derselben Stelle, an der sie aufgestellt wurde, in derselben Schriftgröße.
Vermeiden
Wiederholt laufen lassen, bis es besser aussieht, und den besten Lauf berichten. Das ist keine schlechte Messung, es ist eine selektierte, und die Selektion lässt sich später in der Zahl von niemandem mehr erkennen — auch nicht von Ihnen.
Vermeiden Sie es, das negative Ergebnis still fallen zu lassen und dabei das positive aus derselben Serie zu behalten. Vermeiden Sie, eine frische Stichprobe mit einer alten zu poolen, nachdem Sie gesehen haben, dass Pooling hilft; wenn Pooling nicht als primär vorregistriert war, ist es sekundär und muss so gekennzeichnet werden.
Und vermeiden Sie es, ein nicht signifikantes Delta mit Worten zu beschreiben, die Signifikanz nahelegen: „verbessert", „gesteigert", „gestiegen von". „Für sich allein nicht signifikant" ist der Satz.
Prüfen
Fragen Sie sich, was ein skeptischer Leser aus den veröffentlichten Artefakten schließen könnte. Wenn die Antwort erfordert, darauf zu vertrauen, dass Sie nichts verworfen haben, sind die Artefakte unvollständig — veröffentlichen Sie das Journal, die Ergebnisse pro Einzelfall, oder die Rohpaare.
Prüfen Sie dann die Behauptung in Ihrem eigenen README gegen den Ergebnisabschnitt. Wenn eines etwas sagt, das das andere widerruft, ist der Widerruf der zutreffende, und die Behauptung muss sich anpassen.
Risiko
Das ist langsamer, und es veröffentlicht Arbeit, die für jeden, der eine einzelne Seite ohne Kontext liest, wie ein Fehlschlag aussieht. Manche dieser Leser werden gerade bewerten, ob sie die Sache nutzen sollen.
Der subtilere Preis: Ein Projekt, das Negativergebnisse veröffentlicht, kann gegen sich selbst zitiert werden. Das ist ein echter Preis, und er ist kleiner als die Alternative — eine entdeckte Übertreibung macht jede andere von Ihnen veröffentlichte Zahl wertlos.
Verwenden
Die Karte ist Daten. Klonen Sie das Repository und importieren Sie sie über den Pfad — was über das Netz kommt, gilt als kontaminiert und wird bis zur Freigabe zurückgehalten. Das ist das gewünschte Verhalten und der Grund, warum es hier keinen Einzeiler-Installer gibt.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.mdIntegrität
SHA-256 der Datei in der veröffentlichten Fassung. Wer sie importiert, kann prüfen, dass das Empfangene dem entspricht, was diese Seite gezeigt hat.
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23