AI-geheugen, uitgelegd
Wat is AI-geheugen — en waarom is een groter contextvenster niet genoeg?
“AI-geheugen” is het vermogen van een assistent om door de tijd heen vast te houden wat er voor jou toe doet — je documenten, je beslissingen, je geschiedenis — en het juiste stuk terug te halen als je ernaar vraagt. De naïeve versie is alles in één lange prompt plakken. Het onderzoek laat zien dat dat stilletjes faalt. Dit is het betere model.
Het contextvenster is geen geheugen
Het contextvenster van een model is zijn kortetermijnwerkruimte. Het is begrensd, en zodra iets eruit schuift gedraagt het model zich alsof het er nooit is geweest. Het venster vergroten helpt een beetje, maar maakt van korte context geen duurzaam geheugen — en het brengt eigen problemen mee.
- Modellen lezen het midden van een lange context slechter, dus wat daar begraven ligt wordt vaak gemist.
- Meer tekst erbij stapelen helpt op een gegeven moment niet meer — en gaat bij veel modellen schaden — ruim voordat het venster vol is.
- Lange context is duur: je betaalt bij elke vraag opnieuw voor het verwerken van alles.
Echt geheugen is gestructureerd en beheerd
Het alternatief, geleend uit decennia systeemontwerp, is een geheugenhiërarchie: houd een kleine werkset in het venster en een grote, geordende voorraad daarbuiten, en haal de relevante stukken op wanneer ze nodig zijn. De waarde zit niet in hoeveel je in één prompt propt, maar in hoe goed het juiste stuk wordt geselecteerd. Structuur, niet volume, laat geheugen werken.
Dat is wat FocusLM bouwt: een agent interviewt je om het vraagstuk te begrijpen, ontwerpt een mappenontologie, schrijft zijn eigen archiveringsregels en sorteert alles wat je aanlevert in een gestructureerd geheugen van inzichtelijke, exporteerbare markdown. Als je iets vraagt, haalt hij de relevante passages met bronvermelding naar boven — waar ze oorspronkelijk ook vandaan kwamen.
Het onderzoek, in gewone taal
Korte, onderbouwde uitleg van de papers hierachter — elk met een eigen diagram.
AI-geheugen versleutelen: waarom een sleutel per project beter is dan een per database
Een AI die uw leven onthoudt, bevat materiaal dat u niet aan een vreemde zou geven. We versleutelen elk geheugenbestand en elk chatbericht met een sleutel die alleen aan dat project toebehoort, en het onderzoek legt uit waarom de voor de hand liggende alternatieven lekken.
Meer context is niet altijd beter: wat er gebeurt voorbij 64k tokens
Een grootschalige studie over 20+ modellen ontdekte dat meer opgehaalde tekst in de prompt proppen vaak stopt met helpen — en bij veel modellen begint te schaden — ruim voordat het venster vol is. Groter is niet hetzelfde als beter.
Wat als een LLM geheugen beheerde als een besturingssysteem?
Het contextvenster is klein en vast. MemGPT leent een 40 jaar oud idee uit besturingssystemen — een geheugenhiërarchie met paging — om een model te laten werken met veel meer informatie dan in het venster past.
RAG versus lange context: welke moet je nu echt gebruiken?
Wanneer een model een miljoen tokens kan lezen, is retrieval dan overbodig? Een studie van Google DeepMind zegt van niet — lange context wint op kwaliteit als je het je kunt veroorloven, retrieval wint op kosten, en een simpele router haalt het meeste uit beide.
Verloren in het midden: waarom lange contextvensters ongemerkt tekortschieten
LLM’s gebruiken het begin en einde van een lange context veel beter dan het midden — een U-vormig effect dat zelfs blijft bestaan in modellen die speciaal voor lange context zijn gebouwd. Dit is wat het onderzoek laat zien en wat het betekent.