chimera-budget-the-context

У вас крутится цикл, который на каждом шаге дописывает в список сообщений — агент ReAct, ход кодинга, ассистент с вызовом инструментов, — и список только растёт. Симптомы: провайдер выбрасывает ошибку по длине контекста, либо прогон выживает, но после долгого отрезка начинает работать не с тем файлом.

Это не относится к одиночному вызову, промпт которого вы собрали сами и можете измерить один раз. Когда ничего не накапливается, политику вытеснения проектировать не из чего.

1. Прежде чем трогать цикл, запишите два числа: заявленное окно модели и ту его долю, которую вы потратите на промпт. Chimera тратит 0.6 (DEFAULT_BUDGET_FRACTION в chimera/core/context_budget.py). Остальное оплачивает completion и расхождение между вашей оценкой токенов и реальным счётом провайдера.
2. Запускайте сжатие по доле бюджета, а не окна — Chimera срабатывает на 0.8 бюджета. Сжатию нужно место, куда сжимать; триггер, выставленный по окну, срабатывает, когда места уже не осталось.
3. Измеряйте фиксированный пол отдельно от растущей части. Системное сообщение плюс полезная нагрузка tools= пересылаются заново на каждом шаге, и никакое сжатие сообщений их не касается. Запустите chimera schema-bench (или посчитайте JSON сами), прежде чем решать, что дорого обходится именно история. Многословный импорт MCP или OpenAPI способен подложить десятки тысяч токенов под каждый отдельный шаг прогона.
4. Если проблема в поле, уменьшайте пол: выбросьте чисто аннотационные ключи схемы (examples, title, default, $comment) и обрежьте прозу в описаниях параметров до первого предложения, оставив type, properties, required и enum нетронутыми, чтобы выбор инструмента и валидность аргументов не изменились. Именно это делает chimera/tools/schema_compact.py. Если всё равно велико — объявляйте меньше инструментов.
5. Задайте порядок вытеснения явно: системное сообщение — никогда, недавние ходы — дословно (Chimera держит 6), более старый отрезок — заменить сводкой или фактической заметкой. Никогда не переписывайте системное сообщение: это стабильный префикс, по которому ключуется кэш промптов, и его правка обесценивает весь кэш за ним.
6. После сжатия заново подставьте то, без чего прогон перестаёт быть собой: задачу дословно, план, список задач со статусами и файл, который сейчас редактируется. Файл перечитывайте с диска, а не восстанавливайте по запомненной копии.
7. Когда оцениваете размер в токенах сами, считайте нагрузку tool_calls наравне с content. Аргументы инструментов едут в сообщении ассистента и в content не входят; оценка размера, читающая только content, занижает ровно те сообщения, которые выросли.

Слишком низкий бюджет сжимает прогоны, которым это не требовалось, а каждое сжатие переписывает суффикс промпта и выбрасывает попадания в кэш, стоящие за ним. На долгой сессии кодинга это реальный счёт, оплаченный ради предотвращения переполнения, которого не случилось бы.

У сжатия схем свой край: обрезка описания параметра до одного предложения безопасна для валидности аргументов, но может удалить ту фразу, которая говорила модели, когда применять инструмент. Оно меняет поведение выбора, не меняя ни одной схемы, которую проверяет валидатор, и потому проявляется как чуть худший выбор инструмента, а не как ошибка. Измеряйте его как A/B, а не включайте потому, что оно экономит токены.

И весь приём не даёт ничего, если задача действительно велика для модели. Бюджетирование превращает жёсткий потолок в мягкий; оно не создаёт места, которого нет.