Nach Teil 1 («Was KI-Infrastruktur wirklich bedeutet») widmen wir uns nun der ersten entscheidenden technischen Komponente: dem LLM-Gateway.
Die Entwicklung bei KI-Modellen ist rasant. Ein Anbieter, der heute führend ist, kann morgen überholt sein. Unternehmen, die sich direkt an ein einziges Modell (z.B. von OpenAI) binden, geraten in eine gefährliche strategische Abhängigkeit. Ein LLM-Gateway ist die technische Notwendigkeit für unternehmerische Souveränität.
Die Verlockung ist gross: Man bindet die neue KI-Anwendung direkt an die API von OpenAI, Google oder Anthropic und erhält sofort beeindruckende Ergebnisse. Doch dieser kurzfristige Gewinn birgt ein enormes langfristiges Risiko: den Vendor Lock-in.
Was passiert, wenn Ihr Anbieter die Preise drastisch erhöht? Wenn ein neues, günstigeres oder leistungsfähigeres Modell eines Konkurrenten auf den Markt kommt? Oder wenn neue Datenresidenz-Anforderungen (z.B. durch Regulierungen in der EU oder der Schweiz) Sie zwingen, einen lokalen Anbieter zu nutzen?
Ohne eine flexible Infrastruktur müssen Sie jeden einzelnen Use Case mühsam anpassen. Wie wir in Teil 1: Was KI Infrastruktur wirklich bedeutet dargelegt haben, ist der «Unterbau» entscheidend. Die erste und wichtigste Komponente dieses Unterbaus ist der LLM-Proxy, auch bekannt als LLM-Gateway.
Das Problem: Direkte Anbindung ist eine strategische Sackgasse
Die direkte Integration von KI-Modellen in Anwendungen führt zu handfesten Nachteilen:
- Vendor Lock-in: Sie sind vom Preismodell und der technischen Entwicklung eines einzigen Anbieters abhängig.
- Fehlende Flexibilität: Neue, bessere Modelle (z.B. GPT-5 statt GPT-4, oder ein spezialisiertes Open-Source-Modell) können nicht einfach «durchgeschaltet» werden.
- Kosten-Optimierung: Sie können nicht dynamisch auf ein günstigeres Modell (z.B. «GPT-5-nano» statt «GPT-5») wechseln, wenn die Aufgabe dies zulässt.
- Datenresidenz: Sie können nicht einfach auf ein Modell wechseln, das in der Schweiz gehostet wird, falls dies regulatorisch notwendig wird.
- Abkündigung: Modelle werden abgekündigt. Wenn Ihr Anbieter ein Modell einstellt, steht Ihre Anwendung still, bis Sie den Code angepasst haben.
Exklusiv für CEOs und GL: Sichern Sie Ihre Compliance und minimieren Sie KI-Risiken
Compliance-Falle KI? Als CEO oder GL-Mitglied tragen Sie die Verantwortung. Dieser exklusive Kurs deckt Compliance-Anforderungen im Umgang mit KI auf.
Die Lösung: Der LLM-Gateway als zentrale «Telefonzentrale»
Ein LLM-Gateway ist eine Adapter-Schicht, die Sie zwischen Ihre Use Cases und die eigentlichen Sprachmodelle schalten. Das Prinzip ist einfach, aber wirkungsvoll. Man kann es sich wie eine moderne Telefonzentrale vorstellen.
Der Use Case (z.B. Ihr Chatbot) stellt seine Anfrage nicht mehr direkt an «OpenAI-GPT-5», sondern an einen von Ihnen definierten, logischen Endpunkt im Gateway, zum Beispiel «thinking-large».
Das LLM-Gateway übernimmt dann die «Vermittlung». Es hält eine Mapping-Tabelle, die festlegt, welcher reale Dienst hinter «thinking-large» steckt.
Der strategische Nutzen eines LLM-Gateways
Der Vorteil dieser Architektur ist immens. Wenn Sie das Modell wechseln wollen, müssen Sie keine einzige Zeile Code in Ihren Use Cases ändern.
Sie passen einfach das Mapping im zentralen Gateway an:
Beispiel für einen Modellwechsel:
- Vorher: Der logische Endpunkt thinking-large im Gateway zeigt auf azure-gpt-4o.
- Nachher: Sie ändern das Mapping. thinking-large zeigt neu auf gemini-1.5-pro oder auf Ihr eigenes lokal-gehostetes-modell.
Für Ihre Anwendungen ändert sich nichts. Sie rufen weiterhin thinking-large auf. Der Wechsel ist sofort vollzogen und gilt für alle angebundenen Systeme.
Diese zentrale Steuerung ist die einzige Möglichkeit, die Durchgängigkeit von Anforderungen (z.B. «Keine Daten ausserhalb der Schweiz») über alle KI-Anwendungen hinweg garantiert sicherzustellen.
Strategien und Lösungen
KI-Beratung für KMU
Von der Strategie bis zur Umsetzung: Unsere KI-Beratung unterstützt Ihr Unternehmen mit passgenauen AI-Lösungen.
FAQ LLM-Gateway
Gibt es fertige Lösungen für LLM-Gateways?
Ja. Der Markt bietet etablierte Open-Source-Frameworks wie LiteLLM oder kommerzielle Produkte wie Portkey und Helicone. Viele Unternehmen bauen diese Adapter-Schicht auch selbst, um maximale Kontrolle zu behalten. Wichtiger als das Tool ist das Verständnis, warum diese Komponente strategisch notwendig ist.
Verändert ein Modellwechsel nicht das Verhalten der Anwendung?
Doch, und das ist ein wichtiger Punkt. Ein neues Modell verhält sich anders. Der Gateway löst «nur» das technische Problem des Austauschs. Um das qualitative Problem (d.h. «Wird die Antwort besser oder schlechter?») zu lösen, benötigen Sie Evaluation-Frameworks. Dieses Thema behandeln wir in Teil 6 dieser Serie.
Ist ein LLM-Gateway nicht ein unnötiger Mehraufwand (Overhead)?
Für einen einzelnen Prototyp mag es so wirken. Sobald Sie jedoch den zweiten Use Case entwickeln oder das erste Mal das Modell wechseln müssen (z.B. aus Kostengründen), amortisiert sich der Gateway sofort. Es ist eine Investition in Skalierbarkeit.
DAS KÖNNTE SIE AUCH INTERESSIEREN
Das letzte Bollwerk – Datenschutz & PII-Schutz in der KI
Transparenz – was passiert im Inneren des KI-Agenten?
Schluss mit dem «Blindflug» bei KI-Updates
Die tickende Zeitbombe: Veraltete KI-Wissensbasen
