publish-the-run-that-did-not-work
Publiez l'expérience qui a échoué, conservez telle quelle celle qui a été remplacée, et ne relancez jamais pour obtenir la significativité. Le biais est dans la sélection, pas dans le chiffre.
Conférée par la personne qui a relu la fiche, et non revendiquée par le fichier lui-même. Une fiche que l'agent distille au cours d'une exécution ayant consommé du contenu non fiable naît contaminée et reste en attente de relecture avant d'être un jour récupérée.
Quand elle vient à l'esprit
- l'A/B est ressorti négatif
- relancer le benchmark
- le résultat contredit ce qu'on affirmait
- mettre une mesure par écrit
C'est dans À éviter et Vérifier que se trouve d'ordinaire la valeur. À faire est la section que tout le monde écrit.
Le corps de la fiche ci-dessus est une traduction. L'original anglais est ce que la CLI importe, ce que l'agent lit à l'exécution et ce que l'empreinte ci-dessous atteste.
Déclencheur
Vous avez lancé une comparaison pour décider si un changement aide, et le résultat est gênant : négatif, non significatif, ou en contradiction avec quelque chose déjà annoncé.
Cela ne s'applique pas à une exécution simplement cassée — un harness planté n'a rien mesuré, et le publier comme un résultat serait sa propre forme de bruit. Corrigez et relancez, et dites que vous l'avez fait.
À faire
- Notez, avant de lancer l'exécution, quel résultat tuerait l'affirmation. Si vous ne pouvez pas le nommer, l'expérience ne peut pas échouer, et une expérience qui ne peut pas échouer n'en est pas une.
- Rapportez l'effet avec un intervalle, pas une estimation ponctuelle.
+9.8pp [−3.5, +16.7]dit quelque chose que+9.8ppseul ne dit pas. - Quand une exécution ultérieure remplace une précédente, gardez la précédente publiée et non modifiée, et liez la correction. La modifier supprime la seule preuve que la correction a eu lieu.
- Si une affirmation ne survit pas à la réplication, rétractez-la au même endroit où elle a été faite, dans la même taille de caractères.
À éviter
Relancer jusqu'à ce que ça ait l'air mieux et rapporter la meilleure exécution. Ce n'est pas une mauvaise mesure, c'est une mesure sélectionnée, et la sélection ne peut être détectée dans le chiffre a posteriori par personne — vous y compris.
Évitez d'abandonner discrètement le résultat négatif tout en gardant le positif issu de la même série. Évitez de regrouper un échantillon frais avec un ancien après avoir constaté que le regroupement aide ; si le regroupement n'était pas pré-enregistré comme primaire, il est secondaire et doit être étiqueté comme tel.
Et évitez de décrire un delta non significatif avec des mots qui laissent entendre une significativité : « amélioré », « relevé », « en hausse par rapport à ». « Pas significatif à lui seul » est la phrase à utiliser.
Vérifier
Demandez-vous ce qu'un lecteur sceptique pourrait conclure des artefacts que vous avez publiés. Si la réponse exige de faire confiance au fait que vous n'avez rien écarté, les artefacts sont incomplets — publiez le journal, les résultats par élément, ou les paires brutes.
Comparez ensuite l'affirmation dans votre propre README à la section des résultats. Si l'une dit une chose que l'autre rétracte, la rétractation est celle qui est vraie et l'affirmation doit être modifiée en conséquence.
Risque
C'est plus lent, et ça publie un travail qui ressemble à un échec pour quiconque lit une seule page hors contexte. Certains de ces lecteurs seront en train d'évaluer s'ils doivent utiliser la chose.
Le coût plus subtil : un projet qui publie des résultats négatifs peut être cité contre lui-même. C'est un prix réel, et il est plus faible que l'alternative — une seule exagération découverte rend tous les autres chiffres que vous avez publiés sans valeur.
L'utiliser
La fiche est une donnée. Clonez le dépôt et importez-la par son chemin — ce qui arrive par le réseau est traité comme contaminé et retenu pour approbation, ce qui est le comportement souhaitable et la raison pour laquelle il n'y a pas d'installateur en une ligne ici.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.mdIntégrité
SHA-256 du fichier tel qu'il est publié. Qui l'importe peut vérifier que ce qu'il a reçu correspond à ce que cette page affichait.
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23