DSGVO-konforme KI-Infrastruktur mit Gesprächs-Gedächtnis

Intro: Ein Assistent, der sich erinnert

Sprachmodelle haben ein begrenztes Kontextfenster. Je länger ein Gespräch wird, desto teurer wird jede Anfrage, und irgendwann passt der Verlauf schlicht nicht mehr hinein. Ein Assistent, der nach zwanzig Nachrichten vergisst, worum es ging, wirkt schnell unbrauchbar.

Diese Infrastruktur habe ich als Eigenentwicklung gebaut, um genau das zu lösen: ein Gespräch, das beliebig lang sein darf, ohne den Faden oder das Budget zu verlieren. Betrieben wird das Ganze auf EU-Infrastruktur.

Challenge: Gedächtnis trotz begrenztem Kontextfenster

Vier Anforderungen standen gegeneinander:

• Kontextfenster und Kosten: Den kompletten Verlauf bei jeder Anfrage mitzuschicken, wird mit der Länge teuer und stößt an die Modellgrenzen.
• Gezielt erinnern statt verwaschen: Gefragt ist nicht „alles ein bisschen", sondern das, was zur aktuellen Frage wirklich passt.
• Kontinuität über Agenten und Sitzungen: Wechselt der Besucher den Spezialagenten oder kommt später wieder, darf der Kontext nicht verloren gehen.
• Datensouveränität: Verlauf und Erinnerungen müssen auf kontrollierter, EU-konformer Infrastruktur liegen und self-hostbar sein.

Approach: Geschichtetes Gedächtnis statt eines Summary-Blobs

Gedächtnis bei KI ist kein Modell-Thema, sondern eine Architektur in Schichten. Ich kombiniere drei Ebenen:

• Working Memory: Ein Sliding-Window hält die letzten N Nachrichten frisch im Kontext, je Agent konfigurierbar. Das hält Kosten und Kontextfenster unter Kontrolle.
• Episodic Memory: Nach einer Schwelle verdichtet ein günstiges Modell den Verlauf zu einer strukturierten Zusammenfassung (Themen, Absicht, Tonfall), fire-and-forget, ohne die Antwort zu blockieren, und pro Client persistiert.
• Semantic / Long-Term Memory: Statt nur einen komprimierten Blob mitzuschleppen, werden frühere Gesprächs-Fakten als Embeddings abgelegt und pro Frage gezielt die relevanten Erinnerungen zurückgeholt. Das ist dasselbe Retrieval-Prinzip wie bei der Wissensbasis, angewandt auf den Gesprächsverlauf. Das strukturierte Besucherprofil aus dem CRM dient als dauerhafte, faktische Gedächtnisebene.

So erinnert sich der Assistent nicht an alles ein bisschen verwaschen, sondern gezielt an das, was zur aktuellen Frage passt, über Agentenwechsel und Sitzungen hinweg.

Darunter liegt die Modell-Schicht: ein anbieterunabhängiges Routing über AI SDK mit Fallback. Bewusst souverän gebaut, denn das System läuft auf EU-Infrastruktur, und die Gedächtnis-Bausteine (Vektorspeicher, Embeddings, Zusammenfassung) sind self-hostbar, damit Gesprächsdaten die kontrollierte Umgebung nicht verlassen.

Outcome: Ein Assistent mit gezieltem, souveränem Gedächtnis

Der Assistent erinnert sich gezielt an das Relevante, über lange Gespräche, Agentenwechsel und Sitzungen hinweg, ohne dass die Anfragen mit der Länge immer teurer werden. Das Gedächtnis steckt nicht in einem rohen Verlauf, sondern in einer geschichteten Architektur aus Working, Episodic und Semantic Memory.

Der eigentliche Punkt ist die Haltung dahinter. Ein KI-Gedächtnis, das auf kontrollierter EU-Infrastruktur läuft und dessen Bausteine self-hostbar sind, ist genau das, was regulierte Organisationen brauchen, die KI einsetzen wollen, ohne ihre Gesprächsdaten aus der Hand zu geben.