chimera-budget-the-context

Estás ejecutando un bucle que añade a una lista de mensajes en cada paso — un agente ReAct, un turno de programación, un asistente que llama herramientas — y la lista solo crece. Síntomas: el proveedor lanza un error por longitud de contexto, o la ejecución sobrevive pero empieza a trabajar sobre el archivo equivocado tras un tramo largo.

No aplica a una llamada única cuyo prompt ensamblaste tú mismo y puedes medir una sola vez. No hay política de desalojo que diseñar cuando nada se acumula.

1. Anota dos números antes de tocar el bucle: la ventana anunciada del modelo, y la fracción de ella que gastarás en el prompt. Chimera gasta 0.6 (DEFAULT_BUDGET_FRACTION en chimera/core/context_budget.py). El resto paga la completion y la diferencia entre tu estimación de tokens y el conteo real del proveedor.
2. Dispara la compactación sobre una fracción del presupuesto, no de la ventana — Chimera se dispara al 0.8 del presupuesto. La compactación necesita espacio hacia el cual compactar; un disparador puesto en la ventana se activa cuando ya no queda ninguno.
3. Mide el suelo fijo por separado de la parte que crece. El mensaje de sistema más el payload tools= se reenvían en cada paso y ninguna cantidad de compactación de mensajes los toca. Ejecuta chimera schema-bench (o cuenta el JSON tú mismo) antes de suponer que el historial es lo caro. Una importación MCP u OpenAPI verbosa puede poner decenas de miles de tokens bajo cada uno de los pasos de la ejecución.
4. Si el suelo es el problema, reduce el suelo: elimina las claves de esquema que son solo anotación (examples, title, default, $comment) y recorta la prosa de los parámetros a la primera frase, dejando intactos type, properties, required y enum para que la selección de herramientas y la validez de los argumentos no cambien. Eso es lo que hace chimera/tools/schema_compact.py. Anuncia menos herramientas si aún así sigue siendo demasiado grande.
5. Fija el orden de desalojo explícitamente: el mensaje de sistema nunca, los turnos recientes literales (Chimera conserva 6), el tramo más antiguo reemplazado por un resumen o una nota factual. Nunca reescribas el mensaje de sistema — es el prefijo estable sobre el que se indexa la caché de prompts, y editarlo invalida cada turno cacheado detrás de él.
6. Después de compactar, reinyecta lo que la ejecución necesita para seguir siendo ella misma: la tarea literal, el plan, la lista de tareas con su estado, y el archivo que se está editando. Vuelve a leer el archivo desde el disco en lugar de restaurar una copia recordada.
7. Cuando estimes el tamaño en tokens tú mismo, cuenta el payload tool_calls además de content. Los argumentos de las herramientas viajan en el mensaje del asistente y no están en content; una estimación de tamaño que solo lee content subestima exactamente los mensajes que crecieron.

Un presupuesto demasiado bajo compacta ejecuciones que nunca lo necesitaron, y cada compactación reescribe el sufijo del prompt y tira los aciertos de caché que había detrás. En una sesión larga de programación eso es una factura real, pagada para evitar un desbordamiento que no habría ocurrido.

La compactación de esquemas tiene su propio filo: recortar la descripción de un parámetro a una frase es seguro para la validez de los argumentos, pero puede eliminar la frase que le decía al modelo cuándo usar la herramienta. Cambia el comportamiento de selección sin cambiar ningún esquema que el validador revise, así que falla como una elección de herramienta ligeramente peor y no como un error. Mídelo como un A/B; no lo actives porque ahorra tokens.

Y todo el patrón no compra nada si la tarea es genuinamente demasiado grande para el modelo. Presupuestar convierte un techo duro en uno blando; no crea espacio que no existe.