FocusLM Onderzoek
Op onderzoek gebaseerde notities over AI-geheugen, contextvensters en het bouwen van een AI die jouw wereld echt kent.
AI-geheugen versleutelen: waarom een sleutel per project beter is dan een per database
Een AI die uw leven onthoudt, bevat materiaal dat u niet aan een vreemde zou geven. We versleutelen elk geheugenbestand en elk chatbericht met een sleutel die alleen aan dat project toebehoort, en het onderzoek legt uit waarom de voor de hand liggende alternatieven lekken.
LezenMeer context is niet altijd beter: wat er gebeurt voorbij 64k tokens
Een grootschalige studie over 20+ modellen ontdekte dat meer opgehaalde tekst in de prompt proppen vaak stopt met helpen — en bij veel modellen begint te schaden — ruim voordat het venster vol is. Groter is niet hetzelfde als beter.
LezenWat als een LLM geheugen beheerde als een besturingssysteem?
Het contextvenster is klein en vast. MemGPT leent een 40 jaar oud idee uit besturingssystemen — een geheugenhiërarchie met paging — om een model te laten werken met veel meer informatie dan in het venster past.
LezenRAG versus lange context: welke moet je nu echt gebruiken?
Wanneer een model een miljoen tokens kan lezen, is retrieval dan overbodig? Een studie van Google DeepMind zegt van niet — lange context wint op kwaliteit als je het je kunt veroorloven, retrieval wint op kosten, en een simpele router haalt het meeste uit beide.
LezenVerloren in het midden: waarom lange contextvensters ongemerkt tekortschieten
LLM’s gebruiken het begin en einde van een lange context veel beter dan het midden — een U-vormig effect dat zelfs blijft bestaan in modellen die speciaal voor lange context zijn gebouwd. Dit is wat het onderzoek laat zien en wat het betekent.
Lezen