publish-the-run-that-did-not-work
Publica el experimento que falló, conserva sin cambios el que quedó superado, y nunca repitas la tirada buscando significancia. El sesgo está en la selección, no en el número.
Conferida por quien revisó y leyó la tarjeta, no reclamada por el propio archivo. Una tarjeta que el agente destila durante una ejecución que consumió contenido no confiable nace contaminada y queda retenida para revisión antes de ser recuperada.
Cuándo viene a la mente
- el A/B dio negativo
- volviendo a correr el benchmark
- el resultado contradice lo que afirmamos
- redactando una medición
Evita y Comprueba es donde suele estar el valor. Haz es la sección que todo el mundo escribe.
El cuerpo de la tarjeta de arriba es una traducción. El original en inglés es lo que importa la CLI, lo que lee el agente en ejecución y lo que atestigua el hash de abajo.
Disparador
Ejecutaste una comparación para decidir si un cambio ayuda, y el resultado es inconveniente: negativo, no significativo, o contradice algo ya anunciado.
No aplica a una ejecución que simplemente estaba rota — un harness caído no midió nada, y publicarlo como resultado sería su propio tipo de ruido. Corrígelo y vuelve a ejecutarlo, y dilo así.
Haz
- Anota, antes de ejecutar, qué resultado mataría la afirmación. Si no puedes nombrarlo, el experimento no puede fallar, y un experimento que no puede fallar no es un experimento.
- Reporta el efecto con un intervalo, no una estimación puntual.
+9.8pp [−3.5, +16.7]dice algo que+9.8ppno dice. - Cuando una ejecución posterior sustituye a una anterior, mantén la anterior publicada y sin editar, y enlaza la corrección. Enmendarla elimina la única evidencia de que la corrección ocurrió.
- Si una afirmación no sobrevive a la replicación, retráctala en el mismo lugar donde se hizo, con el mismo tamaño de letra.
Evita
Volver a ejecutar hasta que se vea mejor y reportar la mejor corrida. Eso no es una mala medición, es una medición seleccionada, y la selección no puede detectarse después en el número por nadie — ni siquiera por ti.
Evita descartar silenciosamente el resultado negativo mientras conservas el positivo de la misma serie. Evita agrupar una muestra nueva con una antigua después de ver que agruparlas ayuda; si agruparlas no fue preregistrado como primario, es secundario y debe etiquetarse así.
Y evita describir una diferencia no significativa con palabras que impliquen significancia: «mejoró», «subió», «aumentó desde». «No significativo por sí solo» es la frase.
Comprueba
Pregúntate qué podría concluir un lector escéptico a partir de los artefactos que publicaste. Si la respuesta requiere confiar en que no descartaste nada, los artefactos están incompletos — publica el diario, los resultados por elemento, o los pares crudos.
Luego compara la afirmación en tu propio README contra la sección de resultados. Si una dice algo que la otra retracta, la retractación es la verdadera y la afirmación tiene que cambiar.
Riesgo
Esto es más lento, y publica trabajo que parece un fracaso para cualquiera que lea una sola página fuera de contexto. Algunos de esos lectores estarán evaluando si usar la cosa.
El costo más sutil: un proyecto que publica resultados negativos puede ser citado en su contra. Ese es un precio real, y es menor que la alternativa — una sola exageración descubierta vuelve inútil cada otro número que hayas publicado.
Cómo usarla
La tarjeta es un dato. Clona el repositorio e impórtala por ruta: lo que llega por la red se trata como contaminado y queda retenido a la espera de aprobación, que es el comportamiento deseable y la razón por la que aquí no hay un instalador de una línea.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.mdIntegridad
SHA-256 del archivo tal como se publicó. Quien lo importe puede comprobar que lo que recibió es lo que mostró esta página.
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23