Prima reacție e să pui totul în conversație: toate notițele, toate regulile, tot istoricul. Modelele de azi acceptă până la un milion de tokeni, deci de ce nu?
Pentru că a accepta nu înseamnă a folosi. În studiul „Lost in the Middle” (TACL, 2024), precizia lui GPT-3.5-Turbo a variat cu peste 20% doar în funcție de locul în care stătea răspunsul în text. În cel mai rău caz, a răspuns mai prost decât fără niciun document: sub 56,1%, scorul obținut fără context. Testul NoLiMa (ICML 2025) a măsurat până la ce lungime a contextului modelele își păstrează cel puțin 85% din performanța obținută pe texte scurte: GPT-4o, 8K din 128K anunțați; Claude 3.5 Sonnet, 4K din 200K anunțați. Chroma a testat 18 modele în 2025. În testul pe conversații lungi, toate modelele încercate au răspuns mult mai bine cu aproximativ 300 de tokeni relevanți decât cu tot istoricul, de circa 113.000 de tokeni.
Anthropic numește fenomenul „context rot” și recomandă cât mai puține informații, dar toate relevante. Asta e, de fapt, definiția unui al doilea creier bine făcut: nu un depozit turnat în conversație, ci o arhivă din care se scoate exact fișa potrivită.