Die KI entwickelte kein Bewusstsein. Sie halluzinierte Atomfracht und löste beinahe einen Konflikt zwischen den USA und China aus

Laut CNN stellte ein falscher, mit KI erstellter US-Geheimdienstbericht eine Verbindung zwischen einem chinesischen Schiff und Komponenten eines Atomwaffenprogramms her und brachte das Militär dazu, einen Zugriff vorzubereiten. Die eigentliche Gefahr war keine bewusste Maschine. Es waren Menschen, die einer maschinell erzeugten Schlussfolgerung vertrauten, die nicht angemessen überprüft worden war.

Künstliche Intelligenz ist nicht aufgewacht, hat ein Selbstbewusstsein entwickelt und beschlossen, einen Krieg mit China zu beginnen.

Den Berichten zufolge geschah etwas weitaus weniger Filmreifes, das zu verstehen vermutlich viel nützlicher ist.

Laut CNN, das sich auf vier nicht namentlich genannte, mit dem Vorfall vertraute Quellen beruft, kursierte während des Krieges mit Iran ein Bericht des US-Militärgeheimdienstes. Darin hieß es, ein chinesisches Schiff im Nahen Osten transportiere „Komponenten eines Atomwaffenprogramms“.

Das US-Militär begann, einen Zugriff auf das Schiff vorzubereiten. Zwei Quellen sagten CNN, bewaffnete Kräfte hätten sich darauf vorbereitet, an Bord zu gehen. Zwei Quellen zufolge waren Militärflugzeuge bereits in der Luft.

Dann prüften Verantwortliche die Geheimdienstinformationen genauer.

Der Bericht war mithilfe eines KI-Chatbots erstellt worden, der die Schiffsladung laut den Berichten falsch eingeordnet hatte. Der Einsatz wurde gestoppt, bevor Kräfte an Bord gingen.

Eine der anonymen CNN-Quellen bezeichnete den Bericht als „völlig falsch“ und sagte, der Vorfall habe „beinahe einen Krieg ausgelöst“.

Diese letzte Beschreibung ist die Einschätzung der Quelle, keine offizielle Schlussfolgerung des Pentagons.

Zudem gilt eine wichtige Einschränkung: Der zugrunde liegende Vorfall wurde weder vom Pentagon noch von China oder einer anderen unabhängigen Quelle öffentlich bestätigt. Bis zum 19. September gingen die von Israel News Pulse gefundenen Folgeberichte überwiegend auf die ursprüngliche CNN-Recherche zurück.

Es war kein Schiff voller Atomwaffen

Der Ausdruck „Atomfracht“ bedarf einer genaueren Erklärung.

CNN berichtete, die Geheimdienstbewertung habe die Ladung mit Komponenten eines Atomwaffenprogramms in Verbindung gebracht.

Das bedeutet nicht, dass das Schiff eine Atombombe, angereichertes Uran, Plutonium oder radioaktives Material transportiert haben soll.

Tatsächlich ist die wirkliche Ladung weiterhin nicht öffentlich bekannt.

Das gilt ebenso für die Identität des Schiffes, sein Ziel, seine Flagge, seinen Eigentümer und sogar für das Land, mit dessen Atomprogramm die vermeintlichen Komponenten angeblich verbunden gewesen sein sollen.

Berichte, wonach das Schiff definitiv nach Iran unterwegs gewesen sei oder tatsächlich Nuklearmaterial transportiert habe, gehen über das öffentlich Belegte hinaus.

Hat die KI tatsächlich halluziniert?

Im alltäglichen Sinn des Wortes wahrscheinlich. Technisch wissen wir es noch nicht.

CNN berichtete, ein Analyst habe einen Chatbot zu Geheimdienstinformationen über das Ladungsverzeichnis des Schiffes befragt. Das System soll offen verfügbare Informationen mit geheimer Fernmelde- und elektronischer Aufklärung kombiniert und daraus die falsche Schlussfolgerung erzeugt haben.

Anschließend soll der Analyst erneut KI eingesetzt haben, um die Ergebnisse als herkömmlichen Geheimdienstbericht aufzubereiten.

Dieser zweite Schritt könnte eines der wichtigsten Details der gesamten Geschichte sein.

Eine fragwürdige maschinelle Schlussfolgerung befand sich nicht mehr nur in einem Chatbot-Fenster. Sie war offenbar in etwas verwandelt worden, das wie ein gewöhnliches nachrichtendienstliches Produkt aussah.

Das kann eine gefährliche Illusion von Autorität erzeugen.

Ohne die Eingabeanweisung, das Quellenmaterial, die Modellausgabe, das Abrufsystem und die tatsächliche Ladung zu sehen, kann jedoch niemand außerhalb der Untersuchung wissen, ob es sich um eine reine KI-Halluzination, eine mangelhafte Quellenzusammenführung, fehlerhafte Ausgangsinformationen, eine schlechte Eingabeanweisung, eine Fehlanwendung durch den Analysten oder eine Kombination daraus handelte.

Was aus CNNs Darstellung klar hervorzugehen scheint, ist, dass die menschliche Überprüfung bis zu einem sehr späten Zeitpunkt im Verfahren versagte.

Das Pentagon wusste bereits, dass dies passieren konnte

Nichts davon ist eine neu entdeckte Schwäche generativer KI.

Das Verteidigungsministerium hat offiziell KI-Grundsätze verabschiedet, nach denen seine Systeme verantwortungsvoll, nachvollziehbar, zuverlässig und kontrollierbar sein müssen. Seine Definition von „nachvollziehbar“ verlangt ausdrücklich, dass das Personal die Funktionsweise von KI-Systemen versteht und Zugang zu überprüfbaren Methoden, Datenquellen und Dokumentationen hat.

Der eigene KI-Ethikrahmen der US-Geheimdienstgemeinschaft geht noch weiter. Er besagt, dass KI menschliches Urteilsvermögen und Rechenschaftspflicht einbeziehen, entsprechend den Risiken getestet werden, ihre Grenzen dokumentieren und gegebenenfalls unabhängig überprüft werden sollte.

Die Task Force Lima, eine eigens zur Untersuchung generativer KI geschaffene Pentagon-Initiative, warnte ausdrücklich vor Halluzinationen, begrenzter Erklärbarkeit und unausgereiften Testmethoden. Nutzer müssten diese Grenzen verstehen, bevor generative KI in sicherheitskritischen Umgebungen eingesetzt werde.

Gleichzeitig hat das Pentagon den Einsatz von KI in Führung und Kontrolle, Einsatzplanung, Entscheidungsunterstützung und Geheimdiensttätigkeiten rasch ausgeweitet, unter anderem durch Initiativen wie die AI Rapid Capabilities Cell.

Das Problem war also nie, dass niemand wusste, wie selbstsicher KI falschliegen kann.

Das Problem ist, was geschieht, wenn eine Organisation dies weiß und trotzdem zulässt, dass eine KI-generierte Schlussfolgerung zu weit gelangt, bevor sie jemand überprüft.

Dieses KI-Risiko verdient Aufmerksamkeit

Die nützlichste Lehre aus diesem Vorfall hat fast nichts mit Maschinenbewusstsein zu tun.

Nichts aus der öffentlichen Berichterstattung deutet darauf hin, dass der Chatbot verstand, was ein chinesisches Schiff ist, was Krieg bedeutet, dass er dem Schiff etwas antun wollte oder eigenständig eine Militäraktion einleitete.

Er beantwortete eine Anfrage.

Menschen sollen die Antwort akzeptiert haben.

Ein Mensch verwandelte sie in ein nachrichtendienstliches Produkt.

Andere Menschen begannen, einen Einsatz vorzubereiten.

Und schließlich prüften Menschen die zugrunde liegenden Informationen und stoppten ihn.

Das ist eine weitaus realistischere KI-Gefahr als das vertraute Science-Fiction-Szenario, in dem eine Maschine plötzlich Wünsche entwickelt und beschließt, die Menschheit müsse verschwinden.

Heutige generative KI-Systeme können flüssige, überzeugende und autoritativ klingende Antworten erzeugen, die falsch sind.

Gefährlich wird es, wenn die Person, die die Antwort liest, das vergisst.

Die wichtigsten Fragen sind weiterhin offen

Wir wissen noch immer nicht, welches KI-System verwendet wurde.

Wir kennen das Schiff nicht.

Wir kennen sein Ziel nicht.

Wir wissen nicht, was es tatsächlich transportierte.

Wir kennen die genaue Eingabeanweisung nicht.

Wir wissen nicht, welches Kommando die Einsatzvorbereitungen genehmigte.

Wir wissen nicht, wer den Fehler bemerkte.

Und wir wissen nicht, ob der Geheimdienstbericht seine Leser darauf hinwies, dass KI an der Erstellung seiner Schlussfolgerung beteiligt gewesen war.

Diese Fragen sind wichtiger als die Frage, ob der Chatbot im streng technischen Sinn „halluzinierte“.

Denn wenn CNNs Darstellung zutrifft, ist nicht das Beunruhigende, dass ein KI-System einen Fehler gemacht hat.

KI-Systeme machen Fehler.

Beunruhigend ist, dass ein Fehler offenbar so viel institutionelle Glaubwürdigkeit erlangte, dass Flugzeuge abhoben und bewaffnete Kräfte einen Zugriff vorbereiteten, bevor jemand bessere Belege verlangte.

Dafür braucht es kein Bewusstsein.