Am 12. Mai 2025 veröffentlichte die Google Threat Intelligence Group (GTIG) einen Bericht, der das feststellte, was Cybersicherheitsexperten für eine Frage der Zeit hielten: Eine Hackergruppe nutzte ein großes Sprachmodell zur Entwicklung eines vollwertigen Zero-Day-Exploits. Dies ist der erste bestätigte Fall dieser Art.
Was genau ist geschehen
Die Angreifer entdeckten eine bislang unbekannte Schwachstelle in einem beliebten Web-Tool mit offener Quelle für die Systemverwaltung — Google hat den Namen des Produkts nicht offengelegt, hat aber den Anbieter und die Strafverfolgungsbehörden benachrichtigt. Die Schwachstelle ermöglichte es, die Zwei-Faktor-Authentifizierung (2FA) zu umgehen, erforderte aber gültige Anmeldedaten.
Das Problem entstand durch einen Entwicklerfehler: Der Code enthielt hart codierte ineffektive Vertrauensausnahmen, die der Logik des 2FA-Schutzes widersprachen. Dieser logische Fehler allein ist schwierig, manuell zu erkennen — es ist kein klassischer Speicherfehler oder unsachgemäße Eingabebehandlung. Nach Einschätzung der GTIG hatte die KI hier einen Vorteil: Moderne LLMs können die Absicht des Entwicklers erfassen und Widersprüche zwischen dem Entwurf und der Umsetzung finden.
Wie GTIG die KI-Beteiligung feststellte
Die Forscher analysierten das Python-Skript und entdeckten charakteristische Marker der LLM-Generierung:
- Übermäßig viele Lehr-Docstring-Kommentare — ein typisches Merkmal von Text, der von einem Sprachmodell erzeugt wird
- «Halluzinierte» CVSS-Bewertung der Schwachstelle — eine Zahl, die in keiner offiziellen Datenbank existiert, aber die die KI als Teil einer strukturierten Beschreibung eingefügt hat
- «Lehrbuch»-Stil des Python-Codes — Formatierung, die für Lehrmaterial in den Trainingsdaten von LLMs charakteristisch ist
«Das Skript enthält eine große Anzahl von Lehr-Docstring-Kommentaren, einschließlich einer halluzinierten CVSS-Bewertung, und verwendet ein strukturiertes Lehrbuch-Python-Format, das äußerst charakteristisch für LLM-Trainingsdaten ist»
— GTIG, Bericht vom 12. Mai 2025
Google betont: Gemini war in diesem Angriff nicht beteiligt. Welches Modell die Hacker genau verwendeten, ist unbekannt. Aber die Forscher haben die Möglichkeit ausgeschlossen, dass der Code von einem Menschen ohne KI-Assistent geschrieben wurde.
Ausmaß: Was geplant war
Die Gruppe koordinierte sich im Voraus und bereitete eine Masseoperation zur Ausnutzung der Schwachstelle vor — nicht einen gezielten Hack, sondern möglicherweise Tausende von Zielen. Die GTIG gelang es, in die Phase der aktiven Bereitstellung einzugreifen. Parallel dazu stellten die Forscher fest, dass andere bekannte Gruppen — insbesondere die chinesische Cyber-Spionagegruppe UNC2814, die seit 2017 Telekommunikations- und Regierungsstrukturen in über 42 Ländern angreift — versuchten, die Schutzfilter von Gemini mit Jailbreak-Prompts zu durchbrechen, um Firmware von TP-Link-Routern und anderen eingebetteten Geräten zu analysieren.
Wie John Hultquist, Leitanalytiker der GTIG, anmerkt: «Es gibt einen falschen Eindruck, dass das KI-Schwachstellen-Wettrüsten noch vor uns liegt. In Wirklichkeit hat es bereits begonnen».
Warum dies wichtiger ist als frühere Vorfälle
Zuvor wurde KI als Hilfswerkzeug eingesetzt — zum Schreiben von Phishing-E-Mails, zum Übersetzen von Dokumenten oder zur grundlegenden Code-Analyse. Der aktuelle Fall ist anders: Das Modell führte selbstständig eine logische Analyse der Schutzarchitektur durch und generierte funktionierenden Code zur Ausnutzung. Die GTIG schreibt direkt, dass LLMs «die Absicht des Entwicklers lesen» und Widersprüche zwischen dem Entwurf und der Umsetzung finden — eine Klasse von Schwachstellen, die früher tiefe menschliche Expertise erforderte.
Falls die nächste ähnliche Operation nicht auf aktive Überwachung trifft — wie viele Systeme könnten kompromittiert werden, bevor die Schwachstelle öffentlich gemacht wird?
