chimera-give-the-denominator
Uma taxa sem o denominador e sem sua composição engana com todos os dígitos verdadeiros — diga o n, e diga quanto do numerador é ruído já conhecido.
Conferida por quem revisou e leu o cartão, não reivindicada pelo próprio arquivo. Um cartão que o agente destila durante uma execução que consumiu conteúdo não confiável nasce contaminado e fica retido para revisão antes de alguma vez ser recuperado.
Quando ele vem à mente
- reportando uma taxa de falha
- uma porcentagem no resumo
- o número parece alarmante
- comparando antes e depois de uma mudança
- escrevendo o resultado de um benchmark
Evite e Verifique são onde costuma estar o valor. Faça é a seção que todo mundo escreve.
O corpo do cartão acima é uma tradução. O original em inglês é o que a CLI importa, o que o agente lê em execução e o que o hash abaixo atesta.
Gatilho
Você está prestes a colocar uma taxa, uma porcentagem ou uma contagem em um relatório, uma mensagem de commit, uma tabela de benchmark, ou uma mensagem para alguém que vai agir com base nela. "34% das execuções falharam." "Erros subiram 3x." "A cobertura caiu."
Não se aplica a um número que o leitor já consegue decompor: uma única latência medida, uma string de versão, uma contagem de arquivos num diff que ele está vendo. O risco é específico de um agregado — uma quantidade calculada dividindo um conjunto que você escolheu por outro conjunto que você escolheu, onde as duas escolhas ficam invisíveis na frase.
Faça
- Escreva as contagens cruas ao lado da taxa, sempre:
34% (17/50 runs). Se você não consegue declarar o denominador, ainda não sabe o que mediu. - Diga qual denominador. Execuções tentadas e execuções concluídas são conjuntos diferentes, e dividir pelas concluídas apaga silenciosamente as que quebraram — exatamente a população que fez você olhar.
- Separe o numerador por causa antes de publicá-lo. Dessas 17 falhas, quantas são uma issue já
aberta, um timeout instável e conhecido de provider, uma fixture que falha nesta máquina? Reporte
a separação:
17 failed — 14 are the known connect timeout, 3 unexplained. - Rode a mesma medição contra uma baseline sem alterações e subtraia. O número que importa é a parte
que não sobrevive na
main. - Quando o n é pequeno o bastante para que mais uma amostra mova o número da manchete em vários pontos, coloque essa frase no relatório em vez da porcentagem.
Evite
"failure rate 34%" — verdadeiro, e convida o leitor a gastar um dia num timeout que ele já reportou
semana passada. Escreva "17/50 failed; 14 are the ollama connect timeout (issue open), 3 are new" e
o dia é gasto nos 3.
Evite o denominador de sobrevivência. rate = failures / completed é o clássico: as execuções que
morreram antes de produzir uma linha estão ausentes dos dois lados, então a métrica melhora à medida
que o sistema piora.
Evite porcentagens sobre um denominador abaixo de uns vinte sem o n junto. 50% → 67% é uma melhoria
real ou é uma execução em três virando, e as duas coisas são indistinguíveis na página.
O Chimera já publicou uma retratação exatamente desse formato, e é a razão de este card existir.
bench/learning_lift/RESULTS.md reportou um gap de transferência dentro da família significativo de
+6,7%, e a execução 7 — a mesma medição com poder estatístico adequado — não o sustentou. O
número era real, a aritmética estava certa, e ainda assim a melhor explicação era uma flutuação de
amostra pequena. O que tornou a retratação possível foi que a contagem de execuções tinha sido
publicada ao lado da porcentagem desde o início. Se a página tivesse trazido apenas "+6,7%", não
haveria nada a reexaminar, e o achado teria virado um fato silenciosamente.
Verifique
Entregue a frase a alguém que não vê os seus dados e peça que reconstrua as contagens cruas. Se não conseguir, a frase está incompleta — este é um teste binário e leva dez segundos.
Segunda checagem, quando o número está guiando uma decisão: rode a medição de novo sobre uma baseline sem modificações. Qualquer fração do numerador que se reproduza ali não diz respeito à sua mudança, e toda afirmação construída sobre ela diz respeito ao harness.
Risco
Aplicado a tudo, isso transforma prosa legível num pântano de parênteses, e os leitores começam a pular os parênteses — o que é pior que o problema original, porque agora os denominadores estão na página e não são lidos. Reserve a decomposição completa para números sobre os quais alguém vai agir.
O risco mais afiado corre no sentido inverso: separar por causa também é a ferramenta para fazer um problema real parecer pequeno. Rotular quatorze falhas como "ruído conhecido" só é honesto se o rótulo foi atribuído antes de você ver para que lado isso ajudava. Se você se pegar alargando o balde do "conhecido" enquanto escreve o resumo, o número era a conclusão, não a evidência.
Um denominador declarado também não salva um denominador ruim. 2/3 (n=3) continua sendo três
execuções; o denominador torna a fragilidade visível em vez de consertá-la.
Como usar
O cartão é dado. Clone o repositório e importe pelo caminho — o que chega pela rede é tratado como contaminado e fica retido para aprovação, que é o comportamento desejável e a razão de não haver um instalador de uma linha aqui.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/chimera-give-the-denominator/SKILL.mdIntegridade
SHA-256 do arquivo como publicado. Quem importa pode conferir que o que recebeu é o que esta página mostrou.
a95d8e10515e848efd16e1566d93454164e85d57a7dcb8aa35e7a2e593790766