chimera-give-the-denominator
Una tasa sin su denominador y sin su composición induce a error aunque cada dígito sea verdadero — di n, y di cuánto del numerador es ruido ya conocido.
Conferida por quien revisó y leyó la tarjeta, no reclamada por el propio archivo. Una tarjeta que el agente destila durante una ejecución que consumió contenido no confiable nace contaminada y queda retenida para revisión antes de ser recuperada.
Cuándo viene a la mente
- reportando una tasa de fallos
- un porcentaje en un resumen
- el número parece alarmante
- comparando antes y después de un cambio
- escribiendo un resultado de benchmark
Evita y Comprueba es donde suele estar el valor. Haz es la sección que todo el mundo escribe.
El cuerpo de la tarjeta de arriba es una traducción. El original en inglés es lo que importa la CLI, lo que lee el agente en ejecución y lo que atestigua el hash de abajo.
Disparador
Estás a punto de poner una tasa, un porcentaje o un conteo en un informe, un mensaje de commit, una tabla de benchmark, o un mensaje a alguien que actuará sobre él. «El 34% de las ejecuciones falló.» «Errores multiplicados por 3.» «La cobertura bajó.»
No aplica a un número que el lector ya puede descomponer: una latencia medida individual, una cadena de versión, un conteo de archivos en un diff que tiene a la vista. El riesgo es específico de un agregado — una cantidad calculada dividiendo un conjunto que elegiste por otro conjunto que elegiste, donde ambas elecciones son invisibles en la frase.
Haz
- Escribe los conteos crudos junto a la tasa, siempre:
34% (17/50 runs). Si no puedes enunciar el denominador, todavía no sabes qué mediste. - Di cuál denominador. Ejecuciones intentadas y ejecuciones completadas son conjuntos distintos, y dividir por las completadas borra en silencio los cuelgues — exactamente la población que te hizo mirar.
- Descompón el numerador por causa antes de publicarlo. De esos 17 fallos, ¿cuántos son un issue
ya abierto, un timeout conocido e inestable del proveedor, un fixture que falla en esta máquina?
Reporta la descomposición:
17 failed — 14 are the known connect timeout, 3 unexplained. - Ejecuta la misma medición contra una línea base sin cambios y resta. El número que importa es la
parte que no sobrevive en
main. - Cuando n es lo bastante pequeño como para que una muestra más movería la cifra del titular varios puntos, pon esa frase en el informe en lugar del porcentaje.
Evita
"failure rate 34%" — verdadero, e invita al lector a gastar un día en un timeout que ya reportó
la semana pasada. Escribe "17/50 failed; 14 are the ollama connect timeout (issue open), 3 are new"
y el día se gasta en los 3.
Evita el denominador de supervivencia. rate = failures / completed es el clásico: las ejecuciones
que murieron antes de producir una fila están ausentes de ambos lados, así que la métrica mejora a
medida que el sistema empeora.
Evita los porcentajes sobre un denominador menor de unos veinte sin n adjunto. 50% → 67% es una
mejora real o es una ejecución de tres cambiando de signo, y las dos son indistinguibles sobre el
papel.
Chimera ha publicado una retractación exactamente de esta forma, y es la razón por la que existe
esta tarjeta. bench/learning_lift/RESULTS.md reportó una brecha de transferencia intrafamiliar
significativa de +6.7%, y la ejecución 7 — la misma medición con potencia adecuada — no la
sostuvo. El número era real, la aritmética era correcta, y aun así se explicaba mejor como una
fluctuación de muestra pequeña. Lo que hizo posible la retractación fue que el número de ejecuciones
se había publicado junto al porcentaje desde el principio. Si la página hubiera llevado solo
«+6.7%», no habría habido nada que reexaminar, y el hallazgo se habría convertido calladamente en
un hecho.
Comprueba
Entrega la frase a alguien que no puede ver tus datos y pídele que reconstruya los conteos crudos. Si no puede, la frase está incompleta — esta es una prueba binaria y toma diez segundos.
Segunda comprobación, cuando el número está impulsando una decisión: vuelve a ejecutar la medición sobre una línea base sin modificar. La fracción del numerador que se reproduzca ahí no trata sobre tu cambio, y cualquier afirmación construida sobre ella trata sobre el harness.
Riesgo
Aplicado a todo, esto convierte una prosa legible en un pantano de paréntesis, y los lectores empiezan a saltarse los paréntesis — lo cual es peor que el problema original, porque ahora los denominadores están en la página y sin leer. Reserva la descomposición completa para números sobre los que alguien va a actuar.
El riesgo más agudo va en la dirección contraria: descomponer por causa es también la herramienta para hacer que un problema real parezca pequeño. Etiquetar catorce fallos como «ruido conocido» es honesto solo si la etiqueta se asignó antes de ver hacia qué lado ayudaba. Si te encuentras ensanchando el grupo de «lo conocido» mientras escribes el resumen, el número era la conclusión, no la evidencia.
Un denominador enunciado tampoco rescata a uno malo. 2/3 (n=3) siguen siendo tres ejecuciones; el
denominador hace visible la debilidad en lugar de arreglarla.
Cómo usarla
La tarjeta es un dato. Clona el repositorio e impórtala por ruta: lo que llega por la red se trata como contaminado y queda retenido a la espera de aprobación, que es el comportamiento deseable y la razón por la que aquí no hay un instalador de una línea.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/chimera-give-the-denominator/SKILL.mdIntegridad
SHA-256 del archivo tal como se publicó. Quien lo importe puede comprobar que lo que recibió es lo que mostró esta página.
a95d8e10515e848efd16e1566d93454164e85d57a7dcb8aa35e7a2e593790766