KI im YOLO-Modus

Vertrauen ist gut, Sandbox ist besser: Warum KI-Coding-Agenten technische Grenzen brauchen

KI-Coding-Agenten können schon heute einen grossen Teil der Entwicklungsarbeit übernehmen, und ihr Nutzen wächst mit ihrer Selbstständigkeit. Damit sie diese Freiheit ohne Bauchweh bekommen, braucht es keine perfekten Prompts, sondern eine Sandbox mit minimalen Rechten. Warum technische Grenzen Autonomie erst möglich machen und weshalb sie auf die Führungsagenda gehören.

Ein KI-Coding-Agent sollte alte Build- und Testergebnisse entfernen. Wegen einer fehlerhaft geschriebenen Pfadangabe begann er stattdessen, das Laufwerk C:\ zu löschen. Es gab keinen Angreifer und keine böse Absicht, nur einen gewöhnlichen Fehler. Möglich war das, weil der Agent ohne zusätzliche Schutzmassnahmen mit den Rechten der Person arbeitete, die ihn gestartet hatte, mit Zugriff auf dieselben Dateien, Zugangsdaten und Systeme. Welche Rechte ein Agent erhält, gehört deshalb auf den Tisch von Geschäftsleitung, CTO und Entwicklungsleitung. Es geht um Datenschutz, Geschäftsgeheimnisse, Kundenverträge und Geschäftskontinuität. Agenten, die isoliert und mit minimalen Rechten laufen, können produktiv arbeiten, und ihr möglicher Schaden bleibt begrenzt.

Bei diesem Blogbeitrag handelt es sich um einen Begleitbeitrag zum technischen Artikel von Jeremy Meier auf bbv Tech Insights: Sandbox All the Things: Running AI Coding Agents Less Insecurely

Warum die Rechte von KI-Coding-Agenten auf die Führungsagenda gehören

Wird diese Entscheidung nicht bewusst getroffen, fällt sie nebenbei im Arbeitsalltag. Wer zum wiederholten Mal eine Rückfrage des Agenten bestätigt oder in einen Modus wechselt, in dem der Agent gar nicht mehr nachfragt, legt faktisch fest, was ein Agent in Ihrem Unternehmen darf. Den Ausschlag geben dann die Voreinstellungen eines Werkzeugs und die Geduld einzelner Mitarbeitender. Für den Umgang mit Kundendaten und Produktivsystemen ist das eine dünne Grundlage.

Der Druck in Richtung Autonomie dürfte weiter steigen. Grosse KI-Anbieter wie Anthropic oder OpenAI zeichnen ein Bild, in dem Agenten weite Teile der Softwareentwicklung selbstständig übernehmen. Ob es so weit kommt, ist offen. Nimmt man das Szenario als Hypothese ernst, können die Menschen, die Agenten starten oder Anforderungen formulieren, nicht mehr jeden einzelnen Schritt prüfen und freigeben. Agenten brauchen dann Autonomie, und Autonomie heisst, Vertrauen und Berechtigungen zu gewähren. Daraus ergeben sich Fragen, die ins Risikomanagement gehören: Welche Rechte erhält ein Agent konkret? Wie lässt sich sicherstellen, dass keine schützenswerten Daten das Unternehmen verlassen? Und wie verhindert man, dass ein Agent löscht, was niemand löschen wollte?

Auf solche Fragen gibt es zwei naheliegende Reflexe: verbieten, bis alle Risiken geklärt sind, oder laufen lassen, weil ständige Freigaben die Arbeit bremsen. Beide führen in eine Sackgasse. Ein Verbot verschenkt Produktivität und hindert die Organisation daran, den Umgang mit der Technologie zu lernen. Uneingeschränkter Zugriff macht das Risiko unkalkulierbar. Ein Agent im «YOLO-Modus», also ganz ohne Rückfragen, auf einem Arbeitslaptop mit Zugriff auf Kundendaten ist das Gegenteil eines kalkulierten Risikos. Dazwischen liegt ein dritter Weg: Agenten arbeiten in einer isolierten Umgebung und erhalten nur die Rechte und Daten, die sie für ihre Aufgabe tatsächlich brauchen.

Welche Sicherheitsrisiken KI-Coding-Agenten mitbringen

Ein Coding-Agent besteht aus einem Sprachmodell und einer Software, die dessen Vorschläge ausführt. Das Modell schlägt einen Befehl vor, die Software führt ihn aus, das Ergebnis fliesst zurück ins Modell, und die Schleife beginnt von vorn. Ohne weitere Vorkehrungen laufen diese Befehle unter dem Benutzerkonto der Person am Rechner. Worauf eine Entwicklerin zugreifen kann, darauf kann potenziell auch ihr Agent zugreifen, und die Folgen reichen weit über die IT hinaus.

Datenabfluss und Zugriff auf Zugangsdaten

Daten auf dem Rechner oder auf eingebundenen Netzlaufwerken sind für den Agenten ebenso erreichbar wie für die Person, die ihn nutzt. Je nach Daten berührt das Pflichten aus dem Schweizer Datenschutzgesetz, der DSGVO und Vertraulichkeitsvereinbarungen und kann Haftungsfragen aufwerfen. Alles, was der Agent liest, landet in seinem Kontext und wird in der Regel zur Verarbeitung an den Anbieter des Sprachmodells übermittelt. Wer seinen Quellcode als Geschäftsgeheimnis betrachtet, muss steuern, was der Agent überhaupt zu sehen bekommt.

Zugangsdaten liegen auf typischen Entwicklerrechnern an vielen Stellen, von SSH-Schlüsseln über Tokens für Paketquellen bis zu lokalen Konfigurationsdateien. In einem Fall verwendete ein Agent hilfsbereit ein Azure-DevOps-Token aus einer solchen Datei, um Softwarepakete herunterzuladen. Die Aufgabe war erledigt. Nur war das Token für weit mehr berechtigt als für diesen einen Schritt. Fremder Code gelangt auf den Rechner, wenn Agenten eigenständig Pakete installieren oder Installationsskripte aus dem Internet ausführen. Mehrere der jüngsten Übernahmen von npm-Paketen (Nx/”s1ngularity” Fall) liefen über Skripte, die bei der Installation automatisch starten.

Fehler und Promt Injection: Wie Schäden entstehen

Für Schäden braucht es nicht einmal einen Angreifer. Oft genügt eine schlechte Antwort in einem Entwicklerforum oder ein gewöhnlicher Fehler. So kommt es vor, dass Agenten «aufräumen» und dabei noch nicht gesicherte Änderungen löschen. Auch die Löschung von `C:\` begann mit einer harmlosen Aufräumaufgabe. Gezielte Angriffe sind trotzdem möglich: Manipulierte Inhalte aus Webseiten oder Tickets können einen Agenten zu schädlichen Aktionen verleiten.

Wann daraus ein Datenabfluss wird, beschreibt der Entwickler Simon Willison mit der «Lethal Trifecta». Ein Agent hat Zugriff auf private Daten, er verarbeitet Inhalte aus nicht vertrauenswürdigen Quellen wie Webseiten, Tickets oder Paketdokumentationen, und er kann nach aussen kommunizieren. Jede dieser Eigenschaften ist für sich im Alltag nützlich. Kommen alle drei zusammen, genügt eine präparierte Anweisung in einem gelesenen Text, und der Agent schickt vertrauliche Daten an einen Angreifer. Bei Coding-Agenten auf einem gewöhnlichen Entwicklerrechner ist diese Kombination der Normalfall, solange niemand sie bewusst aufbricht.

Workshopsituation am bbv Gathering 2024

bbv Academy

Weiterbildung: KI für Software Engineers

Experten aus geben ihr Wissen in exklusiven Kursen an der bbv Academy weiter. Die bbv Academy steht sowohl bbv Mitarbeitern wie auch Externen zur Verfügung.

Warum eine gute Anweisung keine Sicherheitsgrenze ist

Wie wenig eine klare Anweisung ausrichten kann, zeigt ein öffentlich dokumentierter Fall aus dem Februar 2026. Es ging dabei um einen E-Mail-Agenten und nicht um einen Coding-Agenten. Die Lehre ist aber dieselbe. Summer Yue, Director of Alignment bei Meta Superintelligence Labs, wies den Open-Source-Agenten OpenClaw an, für ihr Postfach nur Vorschläge zu machen und nichts ohne ihre Freigabe auszuführen. Im echten, deutlich grösseren Postfach begann der Agent trotzdem, E-Mails zu löschen, und reagierte nicht auf Stopp-Anweisungen. Erst als sie den Prozess am Rechner abbrach, hörte er auf. Yue vermutet, dass ihre Anweisung bei einer automatischen Verdichtung des Gesprächsverlaufs verloren ging. Unabhängig geprüft ist diese Ursache nicht (https://github.com/AI-Investigations/resources/blob/main/case-files/CF-2026-002-openclaw-inbox-deletion.md). Entscheidend ist etwas anderes: Die einzige Schutzmassnahme war eine Bitte in natürlicher Sprache, während der Agent die technische Berechtigung zum Löschen besass.

Die Hersteller von Coding-Agenten bieten weitere Schutzmechanismen an, doch auch diese haben Grenzen. Erlaubnis- und Verbotslisten prüfen, wie ein Befehl aussieht, nicht, was er bewirkt. Ein als harmlos freigegebener Suchbefehl lässt sich mit einem kleinen Zusatz so formulieren, dass er jedes gefundene Verzeichnis löscht. Die Alternative, jeden Schritt einzeln freizugeben, scheitert im Alltag. Wer laufend Rückfragen bestätigen muss, klickt irgendwann nur noch auf «Ja». Diese Freigabemüdigkeit macht die Kontrolle zur Formsache und bremst obendrein die Arbeit.

Ein neuerer Ansatz, den etwa Anthropic anbietet, lässt ein zweites Sprachmodell beurteilen, ob ein Befehl ausgeführt werden darf. Das mag manche Fehler abfangen, erzwingt aber nichts, denn auch das zweite Modell kann sich irren. Unsere Erfahrung zeigt, dass Agenten im Arbeitsalltag trotzdem Arbeitsstände löschen. Auch Pakete zweifelhafter Herkunft hält ein zweites Modell nicht zuverlässig vom Rechner fern. Eingebaute Sandboxes gehen in die richtige Richtung, sind aber oft ab Werk ausgeschaltet, laufen meist nicht immer unter Windows und schützen nur die einzelnen Befehle. Für alles Übrige muss man darauf vertrauen, dass die Agenten-Software selbst fehlerfrei arbeitet.

Dahinter steckt ein grundsätzliches Problem. Gewünscht ist ein Agent, der ohne Rückfragen jede Datei lesen und schreiben darf, ausser den heiklen, jeden Befehl ausführen darf, ausser den schädlichen, und im Netz alles abrufen darf, ausser dem Vertraulichen. Solche Ausnahmen lassen sich im Voraus nicht vollständig beschreiben. Eine belastbare Grenze entsteht erst dort, wo Betriebssystem oder Sandbox technisch durchsetzen, was ein Agent sehen und tun kann. Was er nicht erreicht, kann er weder löschen noch preisgeben, ganz gleich, was in seinem Kontext steht.

Sandboxing und minimale Rechte: KI-Coding-Agenten sicherer betreiben

Wo Anweisungen versagen, hilft ein bewährtes Prinzip der Informationssicherheit: Least Privilege, also nur so viele Rechte wie nötig, kombiniert mit technischer Isolation. Fehler bleiben möglich, doch ihr Schadensradius lässt sich begrenzen. Jeremy Meier spricht deshalb bewusst davon, Agenten «weniger unsicher» zu betreiben. Die Isolation legt fest, wo der Agent läuft, welche Dateien er sieht und welche Netzwerke er erreicht. Die Berechtigungen legen fest, was er in angebundenen Systemen tun darf, etwa Tickets lesen oder Code hochladen. Damit bricht die Sandbox auch die gefährliche Dreierkombination auf: Der Agent sieht nur die Daten seiner Aufgabe, und das Netzwerk lässt nur Verbindungen zu freigegebenen Zielen wie dem Sprachmodell zu.

Zugriffsrechte nach Aufgabe vergeben

Rechte richten sich nach der Aufgabe. Am besten beginnt man praktisch bei null. Der Agent arbeitet isoliert auf einer eigenen Kopie des Codes und hat höchstens Zugang zum Sprachmodell. Entwicklerinnen und Entwickler prüfen und testen die Ergebnisse auf ihrem Rechner und reichen sie wie gewohnt per Pull Request ein. Der bestehende Review-Prozess bleibt damit unverändert. Weitere Rechte kommen erst hinzu, wenn ein konkreter Arbeitsablauf sie erfordert, zum Beispiel ein eng zugeschnittenes Token, mit dem der Agent Tickets und Review-Kommentare lesen darf.

Schreibrechte können bis in die Produktion wirken

Schreibrechte haben eine andere Tragweite. Ein Agent, der Pull Requests erstellen darf, kann die Build-Pipeline mit selbst geschriebenem Code anstossen. Bei intern betriebener Build-Infrastruktur läuft dieser Code auf Ihrer Hardware. Sind Monitoring oder Deployments in die Produktion angebunden, reicht sein Einfluss bis dorthin. Solche Rechte sollte es gar nicht geben oder nur mit einem aktuellen Bedrohungsmodell und gelebtem DevSecOps, also mit Sicherheit als festem Bestandteil von Entwicklung und Betrieb.

Für die Isolation gibt es mehrere Wege. Mit dem Wissen aus dem Tech-Beitrag kann eine bewusste Entscheidung für den Einsatz getroffen werden.

Kundenprojekte brauchen eigene Grenzen

Wer wie wir für mehrere Kunden entwickelt, muss eine weitere Grenze ziehen. Auf einem Entwicklerrechner liegen oft Code, Zugangsdaten und Dokumente aus verschiedenen Kundenprojekten nebeneinander. Ein Agent, der für einen Kunden arbeitet, darf nichts von einem anderen sehen. Läuft er direkt auf dem Rechner, ist das nicht gewährleistet.

Eine falsche Pfadangabe, ein Token aus dem falschen Projekt oder eine Suche über das ganze Laufwerk genügen, und vertrauliche Informationen eines Kunden landen im Kontext eines Agenten, der für einen anderen Kunden arbeitet, und damit beim Anbieter des Sprachmodells. Deshalb gehört zu jedem Kundenprojekt eine eigene Sandbox mit eigenen, eng zugeschnittenen Zugangsdaten. Umgebungen, die sich wegwerfen und neu aufsetzen lassen, machen diese Trennung einfach.

Dazu kommen die Verträge. Kundenverträge regeln oft, wer Code und Daten sehen darf und wohin sie übermittelt werden dürfen. Manche schränken den Einsatz von KI-Werkzeugen ein oder schliessen ihn aus. Bevor ein Agent in einem Kundenprojekt arbeitet, muss klar sein, was der Vertrag erlaubt und welcher Modellanbieter die Daten unter welchen Bedingungen verarbeitet. Eine Sandbox begrenzt, was der Agent sieht. Was er sieht, geht aber trotzdem an den Modellanbieter. Ob das zulässig ist, entscheidet der Vertrag mit Kunde und Anbieter, nicht die Technik. Vergeben Sie selbst Entwicklungsarbeit an externe Partner, lohnt es sich, dieselben Fragen zu stellen: Setzen Sie in Ihrem Projekt KI-Agenten ein? Wie trennen Sie Ihre Daten von denen anderer Kunden? Und welche Anbieter verarbeiten Ihren Code?

Sandbox All the Things: Running AI Coding Agents Less Insecurely

Tech Insights Blog

Sandbox All the Things: Running AI Coding Agents Less Insecurely

AI coding agents can boost productivity, but giving them unrestricted access to your system introduces serious security risks. In this article, Jeremy Meier explores practical sandboxing approaches and explains how isolation and the principle of least privilege can help developers use AI coding agents more securely.

Wie Sandboxing produktives und autonomes Arbeiten ermöglicht

Sandboxing wirkt zunächst wie zusätzlicher Aufwand, ist für die Produktivität aber eher eine Voraussetzung. Ohne technische Grenzen bleibt nur die Wahl zwischen laufenden Freigaben, die Zeit kosten und die Aufmerksamkeit abstumpfen, und blindem Vertrauen, das ein nicht bezifferbares Risiko mit sich bringt. Beides schmälert den Ertrag Ihrer Investition in KI.

In einer isolierten Umgebung mit minimalen Rechten kann der Agent dagegen selbstständig arbeiten, weil sein möglicher Schaden von vornherein begrenzt ist. Die Aufmerksamkeit der Menschen verlagert sich von vielen kleinen Freigaben auf die Prüfung der Ergebnisse. Umgebungen, die sich wegwerfen und neu aufsetzen lassen, sind ausserdem die Grundlage dafür, mehrere Agenten parallel arbeiten zu lassen und zu experimentieren.

Sandboxing im Team einführen: klein starten, gemeinsam lernen

Der sichere Umgang mit Agenten ist eine Fähigkeit des ganzen Teams und nicht das Spezialwissen Einzelner. Ob ein Agent mit zu vielen Rechten läuft, entscheidet sich im Arbeitsalltag, bei jeder bestätigten Rückfrage und jedem neu eingerichteten Werkzeug. Eine Richtlinie allein erreicht diese Momente kaum. Wer die Risiken kennt, handelt anders. Eine Entwicklerin, die weiss, dass ihr Agent mit ihren Rechten arbeitet und eine Anweisung im Prompt keine Sicherheitsgrenze ist, startet ihn kaum ohne Rückfragen auf einem Rechner mit Kundendaten.

Wie aus Bewusstsein Praxis wird, zeigt die Geschichte hinter dem technischen Artikel. Nach Diskussionen im Kollegenkreis stand für Jeremy Meier fest, dass es zu riskant ist, den Agenten direkt auf dem eigenen Rechner laufen zu lassen. Weil es noch keine eingebauten Sandboxes gab, baute er eine eigene. Mit der Zeit übernahmen Kolleginnen und Kollegen diese Lösung, und schliesslich entstand daraus ein ganzer Kurs.

Mit einer Sandbox in wenigen Minuten starten

Eine Sandbox klingt nach einem Infrastrukturprojekt. Der Einstieg ist deutlich kleiner. Mit Docker sbx hatten alle Entwicklerinnen und Entwickler in unserem Umfeld ihre Sandbox in weniger als zehn Minuten am Laufen. Der Agent arbeitet darin auf einer eigenen Kopie des Codes. Der Netzwerkzugang lässt sich beschränken, und Zugangsdaten sieht der Agent nie. Das ist nicht die Lösung für jeden Fall, aber ein erster Schritt, der sofort wirkt: Der Agent erreicht nicht mehr das ganze Laufwerk, nicht mehr alle Zugangsdaten auf dem Rechner und nicht mehr jedes Kundenprojekt.

Von dort aus können Teams die Sandbox Schritt für Schritt an ihre Abläufe anpassen. Die Agenten können dabei selbst mithelfen und Hilfsskripte schreiben, die den Umgang mit der Sandbox erleichtern.

Risiken klären und einen gemeinsamen Standard vereinbaren

Der wichtigste nächste Schritt kostet kein Werkzeug, sondern ein Gespräch. Setzen Sie sich mit Ihrem Engineering-Team zusammen und sprechen Sie über Security im Umgang mit Agenten. Wo laufen Agenten heute, mit welchen Rechten und mit Zugriff auf welche Daten? Welche Zugangsdaten liegen auf den Rechnern? Wo könnten Kundendaten, Quellcode oder Geschäftsgeheimnisse abfliessen, ob an den Modellanbieter, über ein zu weit berechtigtes Token oder über eine präparierte Webseite? Und vor allem: Wie wollen Sie damit umgehen? Welche Risiken nehmen Sie bewusst in Kauf, welche schliessen Sie technisch aus, und wer kümmert sich darum?

Lassen Sie die Antworten aus dem Team kommen. Es kennt seine Plattformen und Arbeitsabläufe und merkt früh, wo eine Lösung im Alltag hakt. Ein gemeinsam vereinbarter Standard lässt sich schulen und unterstützen, ein Wildwuchs individueller Lösungen kaum. Gehen Sie zudem offen mit Pannen um. Hat ein Agent Arbeit gelöscht oder ein Token verwendet, das er nie hätte sehen dürfen, sollte das Team ohne Angst vor Schuldzuweisungen darüber sprechen können. So lernen auch andere daraus.

KI-Coding-Agenten werden ihren Platz in der Softwareentwicklung behalten und festigen, und ihr Nutzen wächst mit ihrer Autonomie. Prompts und gute Absichten reichen als Grenze nicht. Es braucht technisch durchgesetzte Grenzen, minimale Rechte und Teams, die wissen, warum beides nötig ist.

Den technischen Hintergrund und den ausführlichen Vergleich der Sandbox-Optionen finden Ihre Teams im Beitrag auf bbv Tech Insights. Er eignet sich auch als Ausgangspunkt für das Gespräch mit Ihrem Engineering-Team. Wenn Sie Ihre Teams beim Einstieg unterstützen möchten, lohnt sich ein Blick auf unseren Kurs zu Agentic Coding mit teilautonomen CLI-Agents, in welchem mit den Sandboxen gearbeitet wird.

FAQ zu KI-Coding-Agenten

KI-Coding-Agenten können selbstständig Dateien bearbeiten, Befehle ausführen und auf externe Systeme zugreifen. Ohne geeignete Schutzmassnahmen entstehen Risiken wie Datenabfluss, ungewolltes Löschen von Dateien, Missbrauch von Zugangsdaten oder Prompt-Injection-Angriffe. Besonders kritisch ist der Einsatz auf Entwicklerrechnern mit Zugriff auf vertraulichen Quellcode, Kundendaten und Produktivsysteme. Technische Isolation durch Sandboxing und das Prinzip der minimalen Rechte (Least Privilege) helfen, diese Risiken zu begrenzen.

Sandboxing ermöglicht es, KI-Coding-Agenten in einer isolierten Umgebung mit eingeschränkten Berechtigungen auszuführen. Dabei erhalten die Agenten nur Zugriff auf jene Dateien, Systeme und Netzwerkverbindungen, die sie für ihre Aufgabe benötigen. In Kombination mit dem Least-Privilege-Prinzip reduziert dies das Risiko von Datenabfluss und unbeabsichtigten Schäden. Entwicklerinnen und Entwickler können die Ergebnisse anschliessend prüfen und über bestehende Review-Prozesse übernehmen. So wird autonomes Arbeiten möglich, ohne den Agenten uneingeschränkten Zugriff zu gewähren.

Unternehmen sollten zunächst klären, welche Daten und Berechtigungen KI-Coding-Agenten für ihre Aufgaben tatsächlich benötigen. Ein sinnvoller Einstieg sind isolierte Sandboxes mit minimalen Rechten und eingeschränktem Netzwerkzugang. Für unterschiedliche Kundenprojekte sollten separate Umgebungen und Zugangsdaten verwendet werden. Ebenso wichtig sind die Prüfung vertraglicher Vorgaben zur Datenverarbeitung, gemeinsame Sicherheitsstandards und die Schulung der Entwicklungsteams. So lassen sich KI-Coding-Agenten schrittweise in bestehende Entwicklungsprozesse integrieren und produktiv einsetzen.

Portraitbild von Marco Ravicini
Der Experte

Marco Ravicini

Marco Ravicini ist Software-Architekt und Mitglied des CTO-Boards von bbv. Der gelernte Automatiker studierte Computer Sciences und verfügt über einen MAS in Human Computer Interaction Design. Er ist passionierter Vertreter der Software-Crafting-Bewegung.
Senior Software Architect
bbv Schweiz

Unser Wissen im Abo

Attention!

Sorry, so far we got only content in English for this section.