Geef een model een document van honderd pagina’s en vraag naar iets op pagina vijftig, en het kan het antwoord missen — niet omdat het feit niet in de context staat, maar vanwege waar het staat.
TL;DR
- LLM’s gebruiken het begin en einde van een lange context veel beter dan het midden.
- Het effect is U-vormig en komt zelfs voor in modellen die expliciet voor lange context zijn gebouwd.
- Informatie in het venster krijgen is niet hetzelfde als dat het model die ook gebruikt.
De belofte, en de adder onder het gras
Grotere contextvensters verkopen een verleidelijk idee: plak gewoon alles erin en laat het model het uitzoeken. Geen retrieval, geen structuur — één gigantische prompt. Maar er zit een kloof tussen informatie hebben in het venster en die informatie daadwerkelijk gebruiken, en die kloof groeit met de lengte.
Wat het onderzoek laat zien
In Lost in the Middle: How Language Models Use Long Contexts maten Liu en collega’s hoe goed modellen informatie vinden en gebruiken, afhankelijk van waar die in de invoer staat. Ze bouwden twee bewust gecontroleerde tests:
- Multi-document-QA. Het model krijgt een vraag plus een stapel documenten — 10, 20 of 30 stuks — waarvan er precies één het antwoord bevat. Dat gouden document wordt naar elke positie in de stapel geschoven, en op elke plek wordt de nauwkeurigheid gemeten.
- Sleutel–waarde-retrieval. Een synthetische test, ontdaan van talige ruis: een lang JSON-object met honderden willekeurige sleutel–waardeparen, waarbij het model de waarde voor één opgegeven sleutel moet teruggeven — zo wordt puur positiegebaseerd opzoeken losgekoppeld van begrip.
Bij beide taken, en bij zowel open als gesloten modellen (GPT-3.5-Turbo, Claude, MPT-30B-Instruct, LongChat-13B), verscheen dezelfde vorm: de nauwkeurigheid is het hoogst wanneer het relevante item zich aan het begin of einde van de context bevindt en zakt in wanneer het model in het midden moet reiken — een U-vormige curve.
De prestaties zijn vaak het hoogst wanneer relevante informatie aan het begin of einde van de invoercontext staat, en verslechteren aanzienlijk wanneer modellen die in het midden moeten benaderen.
Drie details maken het erger dan het in eerste instantie klinkt. Het geldt zelfs voor modellen die voor lange context zijn gebouwd — een groter venster betekent niet dat het model het gelijkmatig leest. In het slechtste geval (het midden) kan de multi-document-nauwkeurigheid onder de closed-book-basislijn zakken — hetzelfde model dat helemaal zonder documenten antwoordt, puur op basis van zijn parameters. En een model de versie met uitgebreide context van zichzelf geven, leverde geen voordeel op wanneer de invoer al in het kleinere venster paste: de extra capaciteit leverde niets op.
Eén verzachtende maatregel maakte verschil: query-bewuste contextualisatie — de vraag zowel vóór als na de documenten herhalen. Het loste de synthetische sleutel–waardetaak bijna op, maar hielp nauwelijks bij echte multi-document-QA, dus het is geen algemeen medicijn. Het model is gevoelig voor positie, niet alleen voor aanwezigheid.
Wat het voor jou betekent
Als je erop leunt om een lange geschiedenis, een groot document of een heel project in een chat te plakken, hangt de antwoordkwaliteit van het model deels af van geluk — waar de relevante passage toevallig terechtkomt. Naarmate de context groeit, groeit het „midden” dat te weinig wordt gelezen mee. Twee praktische gevolgen:
- Breng naar boven, begraaf niet. Het relevante materiaal moet het model bereiken als een korte, goed geplaatste passage — niet verstopt in het midden van een muur van tekst.
- Structuur wint van volume. Het organiseren en ophalen van de juiste stukken presteert consequent beter dan hopen dat een groter venster ze allemaal leest.
Waar FocusLM in past
Dit is precies waarom FocusLM je materiaal bewaart als een gestructureerd geheugen in plaats van een groeiend chatlog. In plaats van alles in één context te proppen en te hopen dat het midden wordt gelezen, archiveert het wat je aanlevert en brengt het de relevante, geciteerde stukken naar boven wanneer je iets vraagt — zodat het antwoord geworteld is in het juiste materiaal, waar dat oorspronkelijk ook vandaan kwam.