chimera-give-the-denominator
Un tasso senza il suo denominatore e la sua composizione fuorvia pur restando vero in ogni cifra — dichiara n, e dichiara quanta parte del numeratore è rumore già noto.
Conferita da chi ha letto la scheda, non rivendicata dal file su se stesso. Una scheda che l'agente distilla durante un'esecuzione che ha consumato contenuti non affidabili nasce contaminata e resta in attesa di revisione prima di essere mai recuperata.
Quando viene in mente
- sto riportando un tasso di fallimento
- una percentuale in un riepilogo
- il numero sembra allarmante
- confronto prima e dopo una modifica
- sto scrivendo il risultato di un benchmark
Il valore di solito sta in Evita e Verifica. Fai è la sezione che scrivono tutti.
Il corpo della scheda qui sopra è una traduzione. L'originale inglese è ciò che la CLI importa, ciò che l'agente legge in esecuzione e ciò che l'hash qui sotto attesta.
Trigger
Stai per mettere un tasso, una percentuale o un conteggio in un report, in un messaggio di commit, in una tabella di benchmark, o in un messaggio a qualcuno che agirà di conseguenza. "Il 34% delle esecuzioni è fallito." "Errori triplicati." "La copertura è calata."
Non si applica a un numero che il lettore può già scomporre: una singola latenza misurata, una stringa di versione, un conteggio dei file in un diff che ha sotto gli occhi. Il rischio riguarda in modo specifico un aggregato — una quantità calcolata dividendo un insieme che hai scelto tu per un altro insieme che hai scelto tu, dove entrambe le scelte sono invisibili nella frase.
Fai
- Scrivi sempre i conteggi grezzi accanto al tasso:
34% (17/50 runs). Se non riesci a enunciare il denominatore, non sai ancora cosa hai misurato. - Di' quale denominatore. Le esecuzioni tentate e quelle completate sono insiemi diversi, e dividere per le completate cancella in silenzio i crash — esattamente la popolazione che ti ha fatto guardare.
- Scomponi il numeratore per causa prima di pubblicarlo. Di quei 17 fallimenti, quanti sono una
issue già aperta, un timeout instabile e noto del provider, una fixture che fallisce su questa
macchina? Riporta la scomposizione:
17 failed — 14 are the known connect timeout, 3 unexplained. - Esegui la stessa misurazione contro una baseline immutata e sottrai. Il numero che conta è la
parte che non sopravvive su
main. - Quando n è abbastanza piccolo che un solo campione in più sposterebbe la cifra di testa di diversi punti, metti nel report quella frase invece della percentuale.
Evita
"failure rate 34%" — vero, e invita il lettore a spendere una giornata su un timeout che aveva
già segnalato la settimana scorsa. Scrivi "17/50 failed; 14 are the ollama connect timeout (issue open), 3 are new" e la giornata viene spesa sui 3.
Evita il denominatore da sopravvivenza. rate = failures / completed è il classico: le esecuzioni
morte prima di produrre una riga sono assenti da entrambi i lati, quindi la metrica migliora man mano
che il sistema peggiora.
Evita le percentuali su un denominatore inferiore a una ventina senza n allegato. 50% → 67% è un
miglioramento reale oppure è un'esecuzione su tre che si ribalta, e le due cose sono indistinguibili
sulla pagina.
Chimera ha pubblicato una ritrattazione esattamente di questa forma, ed è il motivo per cui questa
card esiste. bench/learning_lift/RESULTS.md riportava un divario di transfer intra-famiglia
significativo pari a +6.7%, e l'esecuzione 7 — la stessa misurazione con potenza adeguata — non
l'ha retto. Il numero era reale, l'aritmetica era giusta, e la spiegazione migliore restava comunque
una fluttuazione da campione piccolo. Ciò che ha reso possibile la ritrattazione è che il numero di
esecuzioni era stato pubblicato accanto alla percentuale fin dall'inizio. Se la pagina avesse
riportato solo "+6.7%", non ci sarebbe stato nulla da riesaminare, e il risultato sarebbe
silenziosamente diventato un fatto.
Verifica
Consegna la frase a qualcuno che non può vedere i tuoi dati e chiedigli di ricostruire i conteggi grezzi. Se non ci riesce, la frase è incompleta — è un test binario e richiede dieci secondi.
Secondo controllo, quando il numero sta guidando una decisione: riesegui la misurazione su una baseline non modificata. Qualunque frazione del numeratore si riproduca lì non riguarda la tua modifica, e qualsiasi tesi costruita su di essa riguarda l'harness.
Rischio
Applicato a tutto, questo trasforma una prosa leggibile in un pantano di parentesi, e i lettori cominciano a saltare le parentesi — il che è peggio del problema di partenza, perché ora i denominatori sono sulla pagina e non vengono letti. Riserva la scomposizione completa ai numeri su cui qualcuno agirà.
Il rischio più acuto corre nella direzione opposta: scomporre per causa è anche lo strumento per far sembrare piccolo un problema reale. Etichettare quattordici fallimenti come "rumore noto" è onesto solo se l'etichetta è stata assegnata prima di vedere in che direzione conveniva. Se ti accorgi di allargare il secchio dei "noti" mentre scrivi il riassunto, il numero era la conclusione, non la prova.
Dichiarare il denominatore non salva nemmeno un denominatore cattivo. 2/3 (n=3) sono comunque tre
esecuzioni; il denominatore rende visibile la debolezza, non la corregge.
Come usarla
La scheda è un dato. Clona il repository e importala per percorso — ciò che arriva dalla rete è trattato come contaminato e trattenuto in attesa di approvazione, che è il comportamento desiderabile e il motivo per cui qui non c'è un installatore in una riga.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/chimera-give-the-denominator/SKILL.mdIntegrità
SHA-256 del file così com'è pubblicato. Chi lo importa può verificare che ciò che ha ricevuto sia ciò che questa pagina mostrava.
a95d8e10515e848efd16e1566d93454164e85d57a7dcb8aa35e7a2e593790766