Sie fragen das KI-Modell nach Ihrer internen Compliance-Richtlinie, und es antwortet: «Als grosses Sprachmodell habe ich keinen Zugriff auf Ihre internen Dokumente.» Oder schlimmer: Es erfindet (halluziniert) eine Antwort. Damit KI echten Mehrwert schafft, muss sie auf Ihre Unternehmensdaten zugreifen können – und zwar zur Laufzeit.
Large Language Models (LLMs) wie GPT-4o sind auf Basis des öffentlichen Internets trainiert. Sie wissen viel über Weltgeschichte, aber nichts über Ihre Produkt-Dokumentation, Ihre internen HR-Prozesse oder die spezifischen Policies Ihres Unternehmens.
Dieses «Wissens-Defizit» ist die grösste Hürde für den produktiven Einsatz von KI. Ohne den richtigen Kontext können LLMs keine unternehmensspezifischen Aufgaben lösen. Der Lösungsansatz, um dieses Problem zu beheben, heisst RAG (Retrieval-Augmented Generation). RAG ist eine Kernkomponente jeder modernen KI-Infrastruktur.
Das Problem: Halluzinationen und Wissenslücken
Wenn ein LLM keine Antwort auf eine spezifische Frage hat (z.B. «Wie hoch ist die Spesenpauschale für Dienstreisen in Deutschland?»), tut es das, wofür es trainiert wurde: Es generiert die wahrscheinlichste nächste Wortfolge. Das Ergebnis ist eine «Halluzination» – eine Antwort, die plausibel klingt, aber frei erfunden ist.
Swiss AI Impact Report 2025
Keine Halluzination. Nur Fakten.
Laden Sie den Swiss AI Impact Report 2025 herunter und entdecken Sie, wie KI die Zukunft von Schweizer Unternehmen prägt.
Die Lösung: RAG – Wissen zur Laufzeit bereitstellen
RAG ist ein eleganter Prozess, der dem LLM das nötige Wissen genau in dem Moment gibt, in dem es gebraucht wird. Anstatt das Modell neu zu trainieren (was extrem teuer ist), «füttert» man es zur Laufzeit mit relevanten Informationen.
Der Prozess funktioniert vereinfacht so:
- Frage des Nutzers: «Wie hoch ist die Spesenpauschale für Deutschland?»
- Schritt 1 (Retrieval): Die KI-Infrastruktur nimmt die Frage und durchsucht zuerst eine Vektordatenbank nach relevanten internen Dokumenten. (z.B. findet sie einen Abschnitt aus dem HR-Handbuch: «Spesen Deutschland: 80 EUR/Tag»).
- Schritt 2 (Augmentation): Die Infrastruktur baut einen neuen, erweiterten Prompt für das LLM. Dieser enthält die Original-Frage und den gefundenen Text-Abschnitt als Kontext.
- Schritt 3 (Generation): Das LLM wird angewiesen: «Beantworte die folgende Frage: ‹Wie hoch ist die Spesenpauschale für Deutschland?› Nutze dafür ausschliesslich den folgenden Kontext: ‹Spesen Deutschland: 80 EUR/Tag›».
- Antwort der KI: «Die Spesenpauschale für Deutschland beträgt 80 EUR pro Tag.»
Durch RAG wird das LLM «geerdet». Es muss nicht mehr raten oder halluzinieren, sondern nutzt die Fakten, die ihm die Infrastruktur bereitgestellt hat.
Das RAG-System als Infrastruktur-Komponente
Damit dieser Prozess für alle Use Cases im Unternehmen funktioniert, muss das RAG-System zentraler Bestandteil des KI-Infrastruktur-Blueprints (Teil 1) sein.
Herzstück des RAG-Systems ist die Vektordatenbank (Vector Database). Sie speichert keine Dokumente als Text, sondern als «Embeddings» – mathematische Repräsentationen der semantischen Bedeutung von Textabschnitten.
- Semantische Suche: Wenn der Nutzer nach «Reisekosten» fragt, findet die Vektordatenbank auch Dokumente, in denen «Spesen» oder «Dienstreise-Abrechnung» steht, weil diese Wörter eine ähnliche Bedeutung haben.
- Technische Lösungen: Hierfür gibt es spezialisierte Datenbanken (z.B. Pinecone, Milvus, Qdrant, Weaviate) oder Erweiterungen für bestehende Datenbanken (z.B. pgvector für PostgreSQL).
Indem Sie ein zentrales RAG-System aufbauen, schaffen Sie eine «Single Source of Truth» für das KI-Wissen, die von allen Anwendungen, die über das zentrale LLM-Gateway (Teil 2) laufen, genutzt werden kann.
Strategien und Lösungen
KI-Beratung für KMU
Von der Strategie bis zur Umsetzung: Unsere KI-Beratung unterstützt Ihr Unternehmen mit passgenauen AI-Lösungen.
FAQ KI Zugriff auf Wissen
Löst RAG das Halluzinationsproblem komplett?
Es reduziert es drastisch. Es kann aber immer noch vorkommen, dass das LLM die bereitgestellten Fakten ignoriert oder falsch interpretiert. Um dies zu verhindern, braucht es zusätzlich «Guardrails» (Schutzplanken), die wir in Teil 8 dieser Serie besprechen.
Ist RAG dasselbe wie «Fine-Tuning»?
Nein. Beim Fine-Tuning wird das Modell selbst trainiert und angepasst, oft um einen bestimmten Stil oder ein Verhalten zu lernen. Bei RAG wird dem Modell externes Wissen zur Laufzeit als Kontext mitgegeben. RAG ist für Faktenwissen (wie interne Dokumente) fast immer die bessere, flexiblere und günstigere Methode.
Was ist ein «Embedding» und brauche ich dafür ein Modell?
Ja. Um Text in einen Vektor (Embedding) umzuwandeln, braucht man ein «Embedding-Modell». Dieses Modell ist viel kleiner und günstiger im Betrieb als ein grosses Chat-Modell. Es ist darauf spezialisiert, die semantische Bedeutung von Text zu «verstehen» und in eine Zahlenreihe (Vektor) zu übersetzen.
DAS KÖNNTE SIE AUCH INTERESSIEREN
Das letzte Bollwerk – Datenschutz & PII-Schutz in der KI
Transparenz – was passiert im Inneren des KI-Agenten?
Schluss mit dem «Blindflug» bei KI-Updates
Die tickende Zeitbombe: Veraltete KI-Wissensbasen
