De intuïtie is verleidelijk: als wat opgehaalde context helpt, moet meer wel méér helpen. Haal vijftig documenten op in plaats van vijf. Een grootschalige benchmarkstudie ontdekte dat de intuïtie het begeeft.
TL;DR
- Meer opgehaalde context toevoegen helpt — tot op zekere hoogte, daarna vlakt het af.
- Bij veel modellen daalt de nauwkeurigheid zelfs zodra de context erg lang wordt.
- Alleen de sterkste modellen houden stand bij zeer lange context; de meeste verslechteren eerder.
De „haal gewoon meer op”-verleiding
In een retrieval-systeem kies je hoeveel je ophaalt. Aangezien lange vensters goedkoop te vullen zijn, waarom dan niet royaal ophalen en het model laten ziften? De hoop is dat meer opgehaalde passages een grotere kans betekenen dat het antwoord ergens in de prompt staat.
Wat het onderzoek laat zien
In Long Context RAG Performance of LLMs voerden onderzoekers van Databricks retrieval-experimenten uit met 20 open-source- en commerciële modellen — verspreid over de grote families — op drie domeinspecifieke datasets. Voor elk hielden ze de retriever vast en lieten ze de hoeveelheid opgehaalde context die aan het model werd gevoerd gestaag groeien, van 2,000 tot 128,000 tokens (en tot twee miljoen waar het model dat toeliet), waarbij ze bij elke stap de correctheid van het antwoord maten.
Het patroon was consistent: de nauwkeurigheid verbetert eerst naarmate je context toevoegt, verzadigt vervolgens, en daalt bij veel modellen naarmate de context blijft groeien. Cruciaal: slechts een handjevol van de nieuwste state-of-the-art-modellen hield de nauwkeurigheid stabiel voorbij ongeveer 64,000 tokens; de meeste piekten eerder en zakten weg. Meer tokens in het venster vertaalden zich niet in meer correcte antwoorden.
Het venster vullen is makkelijk. Het model alles erin laten gebruiken is het moeilijke deel — en voorbij een bepaald punt werkt meer toevoegen tegen je.
Dit sluit aan bij twee dingen die we al hebben gezien: modellen lezen het midden van een lange context te weinig, en lange context ruilt kosten voor kwaliteit. Steeds meer opgehaalde tekst opstapelen duwt meer van het relevante signaal in dat te weinig gelezen midden en betaalt voor elk extra token.
Wat het voor jou betekent
De praktische regel is precisie boven volume. Een paar zeer relevante, goed geplaatste passages winnen van een gigantische dump van losjes verwante tekst — en kosten minder. Als de antwoordkwaliteit van je systeem afvlakt, is de oplossing meestal betere selectie, niet meer opgehaalde context.
Waar FocusLM in past
FocusLM is gebouwd rond precisie. Omdat je materiaal is gearchiveerd als een gestructureerd geheugen in plaats van een platte stapel, kan het systeem de paar passages naar boven brengen die daadwerkelijk op je vraag betrekking hebben — met bronvermeldingen — in plaats van het model met alles te overspoelen en te hopen. Het is dezelfde les die de benchmark leert, ingebouwd in het product: de juiste context, niet de meeste context.