publish-the-run-that-did-not-work
Pubblica l'esperimento fallito, conserva invariato quello superato, e non ripetere mai la prova per ottenere significatività. Il bias sta nella selezione, non nel numero.
Conferita da chi ha letto la scheda, non rivendicata dal file su se stesso. Una scheda che l'agente distilla durante un'esecuzione che ha consumato contenuti non affidabili nasce contaminata e resta in attesa di revisione prima di essere mai recuperata.
Quando viene in mente
- l'A/B è uscito negativo
- rilancio il benchmark
- il risultato contraddice quanto avevamo dichiarato
- scrivo il resoconto di una misurazione
Il valore di solito sta in Evita e Verifica. Fai è la sezione che scrivono tutti.
Il corpo della scheda qui sopra è una traduzione. L'originale inglese è ciò che la CLI importa, ciò che l'agente legge in esecuzione e ciò che l'hash qui sotto attesta.
Trigger
Hai eseguito un confronto per decidere se un cambiamento aiuta, e il risultato è scomodo: negativo, non significativo, o in contraddizione con qualcosa già annunciato.
Non si applica a un'esecuzione semplicemente rotta — un harness andato in crash non ha misurato nulla, e pubblicarlo come risultato sarebbe di per sé una forma di rumore. Correggi e riesegui, e dì che l'hai fatto.
Fai
- Scrivi, prima di eseguire, quale esito ucciderebbe la tesi. Se non riesci a nominarlo, l'esperimento non può fallire, e un esperimento che non può fallire non è un esperimento.
- Riporta l'effetto con un intervallo, non una stima puntuale.
+9.8pp [−3,5, +16,7]dice qualcosa che+9.8ppnon dice. - Quando un'esecuzione successiva ne sostituisce una precedente, mantieni quella precedente pubblicata e non modificata, e collega la correzione. Modificarla rimuove l'unica prova che la correzione sia avvenuta.
- Se una tesi non sopravvive alla replica, ritrattala nello stesso punto in cui è stata fatta, con la stessa dimensione di carattere.
Evita
Rieseguire finché il risultato non sembra migliore e riportare la migliore esecuzione. Non è una misurazione cattiva, è una misurazione selezionata, e la selezione non è rilevabile nel numero in seguito da nessuno — te compreso.
Evita di scartare silenziosamente il risultato negativo mantenendo quello positivo della stessa serie. Evita di aggregare un campione nuovo con uno vecchio dopo aver visto che l'aggregazione aiuta; se l'aggregazione non era pre-registrata come primaria, è secondaria e va etichettata come tale.
Ed evita di descrivere un delta non significativo con parole che implicano significatività: "migliorato", "sollevato", "in aumento rispetto a". "Non significativo di per sé" è la frase giusta.
Verifica
Chiediti cosa potrebbe concludere un lettore scettico dagli artefatti che hai pubblicato. Se la risposta richiede di fidarsi che tu non abbia scartato nulla, gli artefatti sono incompleti — pubblica il diario, gli esiti per singolo elemento, o le coppie di dati grezzi.
Poi confronta la tesi nel tuo README con la sezione dei risultati. Se una dice una cosa e l'altra la ritratta, la ritrattazione è quella vera e la tesi deve essere allineata.
Rischio
Questo è più lento, e pubblica lavoro che a chiunque legga una singola pagina fuori contesto sembra un fallimento. Alcuni di quei lettori staranno valutando se usare lo strumento.
Il costo più sottile: un progetto che pubblica risultati negativi può essere citato contro se stesso. È un prezzo reale, ed è più piccolo dell'alternativa — una singola esagerazione scoperta rende privo di valore ogni altro numero che hai pubblicato.
Come usarla
La scheda è un dato. Clona il repository e importala per percorso — ciò che arriva dalla rete è trattato come contaminato e trattenuto in attesa di approvazione, che è il comportamento desiderabile e il motivo per cui qui non c'è un installatore in una riga.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.mdIntegrità
SHA-256 del file così com'è pubblicato. Chi lo importa può verificare che ciò che ha ricevuto sia ciò che questa pagina mostrava.
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23