«Ein KI-Agent muss zwingend eine Probezeit durchlaufen»

KI-Agenten können unter Umständen autonom Entscheidungen treffen. Das klingt potenziell gefährlich. Welche Risiken sollte man beim Einsatz von KI-Agenten besonders beachten?

Cedric Klinkert: Ein bekanntes Risiko sind Halluzinationen, das heisst, die KI erfindet glaubwürdige, aber falsche Antworten. Sie entstehen häufig, wenn der KI-Agent nicht weiterweiss, aber darauf optimiert wurde, überzeugend zu antworten. Deshalb hilft es, dem Agenten explizit eine Option einzuräumen, mit der er signalisieren kann, dass er die Aufgabe nicht zu lösen vermag. Sehr wichtig: Ein KI-Agent sollte nur mit Daten arbeiten können, für die er eine Berechtigung hat. Er darf höchstens die Berechtigungen seines Benutzers haben. So sorgen wir beim BBV AI Hub zum Beispiel dafür, dass nur HR-Mitarbeitende Zugriff auf Mitarbeiterdaten haben. Im Moment sind KI-Agenten eine neuartige Technologie, die vielfältig eingesetzt werden kann. Deshalb sollte man eine systematische Risikoanalyse für die automatisierten Prozesse machen.

Wie kann man sicherstellen, dass die Entscheidungen von KI-Agenten im Einklang mit Gesetzen, ethischen Richtlinien und gesellschaftlichen Normen stehen?

Über den Systemprompt lassen sich der Charakter des KI-Agenten und damit seine Aussagen beeinflussen. Ein Finetuning ist ebenfalls möglich – oder aber wir bauen Kontrollmechanismen ein. Absolute Sicherheit gibt es aber nicht. Deshalb ist es zwingend, dass ein KI-Agent eine Probezeit durchläuft, in der seine Arbeit von Fachexperten überprüft und freigegeben wird. Haben wir Vertrauen in seine Arbeit gewonnen, können wir diese Überprüfung an andere unabhängige KI-Programme übergeben.

Wie lässt sich verhindern, dass KI-Agenten diskriminierende Entscheidungen aufgrund von verzerrten Datensätzen treffen?

Der zugrundeliegende Datensatz eines vortrainierten Modells lässt sich nicht mehr ändern. Den Textinput wie auch den Output eines Agenten können wir aber auf diskriminierende Aussagen prüfen und diese neutralisieren.

Wie lassen sich die Entscheidungsprozesse von KI-Agenten insbesondere in sicherheitskritischen Branchen wie etwa der Medizin transparent nachvollziehen?
In Branchen wie der Medizin ist Transparenz das oberste Gebot. Der AI Hub von bbv verwendet dazu den Ansatz des inneren Monologs. Dabei führt der Agent ein Selbstgespräch, in dem er dokumentiert, warum er bestimmte Tools nutzt, die Resultate und Quellen seiner Aktionen erfasst und seinen nächsten Schritt plant. Dieser Prozess ermöglicht es uns, einen Einblick in die Gedankengänge und Entscheidungen der KI zu erhalten. So kann der Nutzer die Entscheidungen der KI nachvollziehen und überprüfen. Grundsätzlich empfehle ich, erst mit risikoarmen Anwendungen Erfahrungen zu sammeln, bevor sicherheitskritische angegangen werden.

Welche Auswirkungen haben KI-Agenten auf den Arbeitsmarkt?

Die Antwort auf diese Frage hängt davon ab, wie komplex die Aufgaben sind, die KI-Agenten zukünftig bewältigen können. Ein Indikator dafür ist die maximale Textlänge, mit der eine KI umgehen kann. Sie widerspiegelt das Kurzzeitgedächtnis des Agenten, das er für die Bewältigung seiner Aufgabe nutzen kann. Aktuell sehe ich das grösste Potenzial darin, mithilfe eines KI-Agenten viele risikoarme Routineaufgaben zu automatisieren.

*Dieses Interview erschien zuerst in der Netzwoche-Ausgabe 10/2023.