chimera-budget-the-context

Stai eseguendo un ciclo che a ogni passo aggiunge in coda a una lista di messaggi — un agente ReAct, un turno di coding, un assistente che chiama tool — e la lista non fa che crescere. Sintomi: il provider solleva un errore di lunghezza del contesto, oppure l'esecuzione sopravvive ma dopo un tratto lungo comincia a lavorare sul file sbagliato.

Non si applica a una chiamata singola il cui prompt hai assemblato tu e puoi misurare una volta sola. Non c'è nessuna politica di eviction da progettare quando non si accumula nulla.

1. Annota due numeri prima di toccare il ciclo: la finestra dichiarata dal modello, e la frazione di essa che spenderai per il prompt. Chimera ne spende 0.6 (DEFAULT_BUDGET_FRACTION in chimera/core/context_budget.py). Il resto paga la completion e lo scarto tra la tua stima dei token e il conteggio reale del provider.
2. Fai scattare la compattazione su una quota del budget, non della finestra — Chimera la innesca a 0.8 del budget. La compattazione ha bisogno di spazio in cui compattare; un innesco fissato sulla finestra scatta quando non ne resta più.
3. Misura il pavimento fisso separatamente dalla parte che cresce. Il messaggio di sistema più il payload tools= vengono rispediti a ogni passo e nessuna quantità di compattazione dei messaggi li tocca. Esegui chimera schema-bench (o conta il JSON a mano) prima di dare per scontato che sia la history a costare. Un import MCP o OpenAPI verboso può mettere decine di migliaia di token sotto ogni singolo passo dell'esecuzione.
4. Se il pavimento è il problema, riduci il pavimento: elimina le chiavi di schema puramente annotative (examples, title, default, $comment) e taglia la prosa dei parametri alla prima frase, lasciando intatti type, properties, required ed enum così che la selezione delle tool e la validità degli argomenti restino invariate. È ciò che fa chimera/tools/schema_compact.py. Se è ancora troppo grande, dichiara meno tool.
5. Fissa esplicitamente l'ordine di eviction: il messaggio di sistema mai, i turni recenti alla lettera (Chimera ne tiene 6), il tratto più vecchio sostituito da un riassunto o da una nota fattuale. Non riscrivere mai il messaggio di sistema — è il prefisso stabile su cui è indicizzata la prompt cache, e modificarlo invalida ogni turno in cache dietro di esso.
6. Dopo aver compattato, reinietta ciò che serve all'esecuzione per restare se stessa: il task alla lettera, il piano, la lista dei task con lo stato, e il file attualmente in modifica. Rileggi il file da disco invece di ripristinare una copia ricordata.
7. Quando stimi tu stesso la dimensione in token, conta anche il payload tool_calls, non solo content. Gli argomenti delle tool viaggiano sul messaggio assistant e non stanno in content; una stima che legge solo content sottostima esattamente i messaggi che sono cresciuti.

Un budget fissato troppo basso compatta esecuzioni che non ne avevano bisogno, e ogni compattazione riscrive il suffisso del prompt e butta via i cache hit che stavano dietro. Su una lunga sessione di coding è una bolletta reale, pagata per evitare un overflow che non sarebbe avvenuto.

La compattazione degli schemi ha il suo lato tagliente: tagliare la descrizione di un parametro a una sola frase è sicuro per la validità degli argomenti, ma può rimuovere proprio la frase che diceva al modello quando usare quella tool. Cambia il comportamento di selezione senza cambiare nessuno schema che il validatore controlli, quindi fallisce come una scelta di tool leggermente peggiore anziché come un errore. Misurala con un A/B, non abilitarla perché fa risparmiare token.

E l'intero schema non compra nulla se il task è genuinamente troppo grande per il modello. Fare budget trasforma un tetto rigido in uno morbido; non crea spazio che non c'è.