Het contextvenster van een model is een klein, vast bureau. Besturingssystemen losten „meer data dan in het geheugen past” decennia geleden op — dus wat gebeurt er als je een LLM dezelfde truc geeft?
TL;DR
- MemGPT behandelt het contextvenster als RAM en voegt een groter extern opslagmedium toe, zoals een schijf.
- Het model beslist zelf wat het in- en uitpaged, zodat het voorbij de grens van het venster kan werken.
- De les is algemener: beheerd, gelaagd geheugen wint van één platte, almaar groeiende prompt.
Het probleem van het vaste bureau
Elk model heeft een harde contextlimiet. Lange gesprekken, grote documenten en opgebouwde geschiedenis lopen die uiteindelijk voorbij, en zodra iets uit het venster valt, gedraagt het model zich alsof het nooit heeft bestaan. Het venster groter maken duwt de muur alleen maar verder weg — en, zoals het werk over „verloren in het midden” laat zien, wordt een groter venster toch niet gelijkmatig gelezen.
Wat het onderzoek laat zien
In MemGPT: Towards LLMs as Operating Systems lenen onderzoekers van UC Berkeley het oudste idee uit systeemontwerp: een geheugenhiërarchie. In een besturingssysteem wordt snel-maar-klein RAM ondersteund door traag-maar-groot schijfgeheugen, en het besturingssysteem paged data ertussen zodat een programma meer geheugen kan adresseren dan er fysiek past. MemGPT geeft een LLM dezelfde twee lagen — een kleine hoofdcontext binnen het venster en een grote externe context daarbuiten — en laat het model de grens zelf beheren via function calls.
Concreet is elke laag onderverdeeld. De hoofdcontext bevat de vaste systeeminstructies, een werkcontext-kladblok voor feiten die de agent in beeld wil houden, en een FIFO-wachtrij van recente berichten. De externe context valt uiteen in recall-opslag — het volledige gebeurtenislog van eerdere gesprekken — en archiefopslag, een doorzoekbaar langetermijnarchief voor willekeurige tekst. Het model leest en schrijft over deze grens heen door function calls uit te sturen, aan elkaar geregen via een „heartbeat” zodat de ene actie de volgende kan aanjagen.
De trigger is een geleend OS-concept: een interrupt. Wanneer het venster zijn limiet nadert, gaat er een waarschuwing voor geheugendruk af en verwijdert of vat het model de oudste berichten samen in de recall-opslag voordat het verdergaat — dezelfde „page out wanneer het RAM vol is”-zet die een besturingssysteem maakt, maar dan besloten door het model.
In plaats van te proberen alles tegelijk op het bureau te krijgen, leert het model op te halen wat het nodig heeft en terug te leggen wat het niet nodig heeft.
De auteurs testten dit op de twee werklasten die een vast venster breken. In multi-sessiechat moest een agent feiten onthouden en erop voortbouwen die een gebruiker in eerdere sessies noemde — die ophalen uit de externe opslag in plaats van ze te verliezen wanneer ze uit het venster scrolden. In documentanalyse beantwoordde MemGPT vragen over documenten die veel langer waren dan de context van het onderliggende model, door relevante secties op aanvraag in te pagen, inclusief geneste retrieval-taken die ontworpen waren om één enkele doorloop te verslaan. In beide gevallen liet het gelaagde ontwerp een klein venster zich gedragen als een veel groter venster.
Wat het voor jou betekent
De praktische les is niet specifiek „gebruik MemGPT” — het is het principe erachter. Een bruikbare assistent heeft geheugen nodig dat het kan laten groeien, ordenen en selectief uit kan ophalen, niet één prompt die je steeds opnieuw plakt en die stilletjes zijn eigen begin vergeet. De vraag verschuift van „hoe groot is het venster?” naar „hoe goed is het geheugenbeheer?”
Waar FocusLM in past
FocusLM is op precies dit principe gebouwd. Je materiaal leeft in een duurzaam, gestructureerd geheugen buiten elk afzonderlijk gesprek; telkens als je iets vraagt, worden de relevante stukken naar de context gebracht en geciteerd, en al het andere blijft gearchiveerd en uit de weg. Het is het idee van de geheugenhiërarchie, toegepast op jouw echte, groeiende kennisbestand — niet slechts één chatsessie.