Ein Kunde meldet ein Problem: Der KI-Agent hat eine völlig falsche Antwort gegeben. Ihre Entwickler stehen vor einem Rätsel. War das Modell schuld oder war der RAG-Kontext falsch? Oder wurde die Frage des Nutzers falsch interpretiert? Ohne detaillierte Logs tappen Sie im Dunkeln. Das LLM ist eine Blackbox und alles davor und danach darf es nicht sein.
Moderne KI-Anwendungen sind selten nur ein einziger Aufruf an ein LLM. Sie sind komplexe Ketten (Chains) oder Agenten, die mehrere Schritte ausführen, bevor sie eine Antwort geben.
Ein typischer RAG-Agent (siehe Teil 4) führt im Hintergrund mindestens folgende Schritte aus:
- Frage-Verarbeitung: Der Agent analysiert die Frage des Nutzers (und formuliert ggf. um).
- Retrieval: Das RAG-System sucht nach relevanten Dokumenten.
- Prompt-Building: Der finale Prompt wird aus der Frage und den gefundenen Dokumenten zusammengebaut.
- Guardrails (Input): Eine Prüfung stellt sicher, dass die Anfrage keine unerwünschten Inhalte enthält.
- LLM-Aufruf: Die Anfrage geht an das Sprachmodell.
- Tool-Nutzung (Optional): Das LLM entscheidet vielleicht, ein Tool aufzurufen (z.B. eine API-Abfrage).
- Guardrails (Output): Die Prüfung der Antwort des Modells.
- Finale Antwort: Der Nutzer erhält die Antwort.
Wenn in diesem 8-stufigen Prozess ein Fehler passiert, ist die Fehlersuche ohne das richtige Werkzeug unmöglich.
Strategien und Lösungen
KI-Beratung für KMU
Von der Strategie bis zur Umsetzung: Unsere KI-Beratung unterstützt Ihr Unternehmen mit passgenauen AI-Lösungen.
Das Problem: Die Blackbox-Kette
Das LLM selbst ist eine Blackbox. Aber wenn die gesamte Kette zur Blackbox wird, haben Sie ein ernstes Betriebsproblem, denn Sie können grundlegende Fragen nicht beantworten:
- Fehlersuche: Warum war die Antwort schlecht? Hat das Retrieval (Schritt 2) die falschen Dokumente gefunden? Oder hat das LLM (Schritt 5) die richtigen Dokumente ignoriert?
- Performance: Warum hat die Antwort zehn Sekunden gedauert? Welcher Schritt war das Bottleneck?
- Kosten: Wie viele Tokens wurden in diesem spezifischen Lauf verbraucht?
- Audit: Was genau ist im Hintergrund passiert? Welche Tools wurden aufgerufen?
Die Lösung: Tracing für granulare Nachvollziehbarkeit
Die Lösung heisst Tracing (Nachverfolgung). Tracing ist eine Kernfunktion von «Observability» (Beobachtbarkeit). Es bedeutet, dass jeder einzelne Verarbeitungsschritt in der Kette einen detaillierten Log-Eintrag (einen «Trace») mit Input, Output und Metadaten (wie Dauer, Kosten) aufzeichnet.
Diese Traces werden in einem zentralen System gesammelt und visualisiert.
Ein Entwickler kann nun eine fehlgeschlagene Anfrage anklicken und sieht eine “Wasserfall”-Ansicht:
Trace 1: Frage-Verarbeitung (Input: “Spesen DE?”, Output: “Wie hoch ist die Spesenpauschale für Deutschland?”)
Trace 1.2: Prompt-Building(Input: [doc_hr_45.chunk_3], Output:Finaler Prompt...)Trace 1.2.1: LLM Aufruf(Input:Finaler Prompt ..., Output:Antwort..., Tokens: 512)
Mit einem Blick sieht der Entwickler, welche Dokumente in Trace 1.1 gefunden wurden und was das LLM in Trace 1.2.1 geantwortet hat. Die Fehlersuche reduziert sich von von Stunden auf Minuten.
Praxis-Beispiel: Tracing-Standards und Frameworks
Dies ist ein so fundamentales Bedürfnis, dass sich Standards etabliert haben.
- OpenTelemetry (OTel): Der Industrie-Standard für Tracing und Observability im Allgemeinen.
- OpenInference: Eine LLM-spezifische Erweiterung für OpenTelemetry.
- Spezialisierte Frameworks: Die Tools, die wir in Teil 6 zur Evaluation kennengelernt haben, sind oft auch die besten Tracing-Tools. Langfuse, LangSmith und Arize Phoenix sind primär Observability-Plattformen.
- Backends: Die gesammelten Traces werden an allgemeine Observability-Backends wie SigNoz, Datadog oder Grafana/Tempo gesendet.
Transparenz und Nachvollziehbarkeit sind keine «Nice-to-have-Features». Sie sind eine betriebliche Notwendigkeit, um eine KI-Infrastruktur professionell zu betreiben.
FAQ KI Transparenz
Ist Tracing nicht dasselbe wie normales Logging?
Tracing ist eine Form von strukturiertem Logging. Ein normales «Log» ist oft eine einzelne Textzeile («Fehler aufgetreten») und ein «Trace» ist ein strukturierter Datenblock (Input, Output, Metadaten), der in einer Hierarchie (Eltern/Kind-Beziehung) zu anderen Traces steht. Dies ermöglicht die Visualisierung ganzer Prozessketten.
Bremst dieses detaillierte Logging nicht das System aus?
Moderne Tracing-Systeme arbeiten hochperformant und asynchron. Das Logging wird «out-of-band» gesendet, damit der eigentliche Anfrage-Prozess nicht blockiert wird.
Wer nutzt diese Traces? Nur Entwickler?
Primär Entwickler (für Debugging) und Ops-Teams (für Performance-Monitoring). Die aggregierten Daten (z.B. «Welche Dokumente werden am häufigsten gefunden?») sind auch für Produktmanager und Fachexperten extrem wertvoll, um das System zu verstehen und zu verbessern.
DAS KÖNNTE SIE AUCH INTERESSIEREN
Das letzte Bollwerk – Datenschutz & PII-Schutz in der KI
Schluss mit dem «Blindflug» bei KI-Updates
Die tickende Zeitbombe: Veraltete KI-Wissensbasen
So nutzt KI Ihr internes Wissen – ohne Halluzinationen
