publish-the-run-that-did-not-work
Публикуйте эксперимент, который не удался, сохраняйте отменённый неизменным и никогда не перезапускайте ради значимости. Смещение — в отборе, а не в числе.
Присвоено человеком, который прочитал карточку, а не заявлено файлом о самом себе. Карточка, которую агент выводит во время запуска, поглотившего недоверенное содержимое, рождается заражённой и удерживается на разбор, прежде чем её вообще извлекут.
Когда это вспоминается
- A/B вышел отрицательным
- перезапускаю бенчмарк
- результат противоречит заявленному
- оформляю измерение
Ценность обычно лежит в разделах «Избегать» и «Проверить». «Делать» — это раздел, который пишут все.
Текст карточки выше — перевод. Английский оригинал — это то, что импортирует командная строка, что читает агент во время работы и что подтверждает хеш ниже.
Повод
Вы провели сравнение, чтобы решить, помогает ли изменение, и результат неудобен: отрицательный, незначимый или противоречащий уже объявленному.
Это не относится к прогону, который просто сломался: упавший harness не измерил ничего, и публиковать его как результат — свой сорт шума. Почините, перезапустите и скажите, что так и сделали.
Делать
- Запишите до запуска, какой исход убьёт утверждение. Если вы не можете его назвать, эксперимент не может провалиться, а эксперимент, который не может провалиться, — не эксперимент.
- Сообщайте эффект с интервалом, а не точечной оценкой.
+9.8pp [−3.5, +16.7]говорит то, чего не говорит+9.8pp. - Когда более поздний прогон отменяет более ранний, оставляйте ранний опубликованным и неотредактированным, а поправку давайте ссылкой. Правка удаляет единственное свидетельство того, что поправка вообще была.
- Если утверждение не пережило репликацию, отзывайте его там же, где оно было сделано, и тем же кеглем.
Избегать
Перезапускать, пока не станет красивее, и сообщать лучший прогон. Это не плохое измерение, это отобранное измерение, и отбор потом никем не обнаруживается в самом числе — включая вас.
Не выбрасывайте тихо отрицательный результат, сохраняя положительный из той же серии. Не объединяйте свежую выборку со старой после того, как увидели, что объединение помогает: если объединение не было заранее зарегистрировано как основное, оно вторично и должно быть так помечено.
И не описывайте незначимую дельту словами, подразумевающими значимость: «улучшилось», «выросло», «поднялось с». Нужное предложение — «само по себе не значимо».
Проверить
Спросите, что мог бы заключить скептичный читатель из опубликованных вами артефактов. Если ответ требует веры в то, что вы ничего не отбросили, артефакты неполны — публикуйте журнал, поэлементные исходы или сырые пары.
Затем сверьте утверждение в собственном README с разделом результатов. Если одно говорит то, что другое отзывает, истинным является отзыв, и утверждение обязано подвинуться.
Риск
Это медленнее, и это публикует работу, которая выглядит провалом для всякого, кто прочтёт одну страницу вне контекста. Часть таких читателей будет решать, брать ли эту вещь в работу.
Более тонкая цена: проект, публикующий отрицательные результаты, можно процитировать против него самого. Это настоящая цена, и она меньше альтернативы — одно обнаруженное преувеличение обесценивает все остальные опубликованные вами числа.
Как применить
Карточка — это данные. Склонируйте репозиторий и импортируйте её по пути: всё, что приходит по сети, считается заражённым и удерживается до одобрения — это и есть желаемое поведение, и поэтому здесь нет установщика в одну строку.
git clone https://github.com/brcampidelli/chimera-agent.gitchimera skills-import chimera-agent/skills/publish-the-run-that-did-not-work/SKILL.mdЦелостность
SHA-256 файла в опубликованном виде. Импортёр может проверить, что полученное совпадает с показанным на этой странице.
1b443d67d0a4e7631a57f1d67c8dc737b561c3ee5f67bb731b55a25f222b1a23