L'IA n'a pas pris conscience. Elle a halluciné une cargaison nucléaire et failli provoquer un affrontement sino-américain

Selon CNN, un faux rapport de renseignement américain élaboré avec l'aide de l'IA a lié un navire chinois à des composants d'un programme d'armes nucléaires et poussé l'armée à préparer son interception. Le vrai danger n'était pas une machine consciente. C'étaient des humains faisant confiance à une conclusion produite par une machine et insuffisamment vérifiée.

L'intelligence artificielle ne s'est pas réveillée, n'a pas pris conscience d'elle-même et n'a pas décidé de déclencher une guerre contre la Chine.

Selon les informations publiées, il s'est passé quelque chose de bien moins cinématographique, et sans doute de bien plus utile à comprendre.

Selon CNN, qui cite quatre sources anonymes au fait de l'incident, un rapport du renseignement militaire américain a circulé pendant la guerre contre l'Iran, affirmant qu'un navire chinois au Moyen-Orient transportait « des composants d'un programme d'armes nucléaires ».

L'armée américaine a commencé à préparer l'interception du navire. Deux sources ont déclaré à CNN que des militaires armés se préparaient à monter à bord. Deux sources ont affirmé que des aéronefs militaires étaient déjà en vol.

Des responsables ont alors examiné le renseignement de plus près.

Le rapport avait été préparé avec l'aide d'un chatbot d'IA, qui aurait mal identifié la cargaison du navire. L'opération a été interrompue avant l'abordage.

L'une des sources anonymes de CNN a qualifié le rapport d'« entièrement faux » et déclaré que cet épisode avait « failli déclencher une guerre ».

Cette dernière description relève de l'appréciation de la source, et non d'une conclusion officielle du Pentagone.

Une réserve importante s'impose : l'incident lui-même n'a pas été confirmé publiquement par le Pentagone, la Chine ou une autre source indépendante. Au 19 septembre, les articles de suivi repérés par Israel News Pulse renvoyaient pour l'essentiel au reportage initial de CNN.

Ce n'était pas un navire rempli d'armes nucléaires

L'expression « cargaison nucléaire » mérite d'être précisée.

CNN a rapporté que l'évaluation du renseignement associait la cargaison à des composants d'un programme d'armes nucléaires.

Cela ne revient pas à dire que le navire transportait une bombe nucléaire, de l'uranium enrichi, du plutonium ou des matières radioactives.

En réalité, la nature de la cargaison reste inconnue du public.

Il en va de même pour l'identité du navire, sa destination, son pavillon, son propriétaire, et même le pays dont le programme nucléaire aurait été lié aux composants présumés.

Les récits laissant entendre que le navire se dirigeait avec certitude vers l'Iran ou transportait effectivement des matières nucléaires vont au-delà de ce qui a été publiquement établi.

L'IA a-t-elle vraiment halluciné ?

Probablement au sens courant du terme. Sur le plan technique, nous ne le savons toujours pas.

CNN a rapporté qu'un analyste avait interrogé un chatbot sur des renseignements concernant le manifeste de cargaison du navire. Le système aurait combiné des informations de sources ouvertes avec du renseignement d'origine électromagnétique classifié pour produire la fausse conclusion.

L'analyste aurait ensuite de nouveau utilisé l'IA pour présenter les résultats sous la forme d'un rapport de renseignement classique.

Cette deuxième étape est peut-être l'un des détails les plus importants de toute l'affaire.

Une conclusion douteuse produite par une machine ne se trouvait plus dans la fenêtre d'un chatbot. Elle avait apparemment été transformée en quelque chose ressemblant à un produit de renseignement ordinaire.

Cela peut créer une dangereuse illusion d'autorité.

Mais sans voir la consigne, les documents sources, la sortie du modèle, le système de récupération d'informations et la cargaison réelle, personne en dehors de l'enquête ne peut savoir s'il s'agissait d'une pure hallucination de l'IA, d'une mauvaise fusion des sources, de renseignements de départ erronés, d'une consigne inadéquate, d'un mauvais usage par l'analyste ou d'une combinaison de ces facteurs.

Ce qui semble en revanche ressortir clairement du récit de CNN, c'est que la vérification humaine a échoué jusqu'à un stade très tardif du processus.

Le Pentagone savait déjà que cela pouvait arriver

Il ne s'agit en rien d'une faiblesse nouvellement découverte de l'IA générative.

Le département de la Défense a officiellement adopté des principes d'IA exigeant que ses systèmes soient responsables, traçables, fiables et maîtrisables. Sa définition de la « traçabilité » demande expressément que le personnel comprenne le fonctionnement des systèmes d'IA et ait accès à des méthodologies, des sources de données et une documentation pouvant être auditées.

Le cadre éthique de l'IA propre à la communauté américaine du renseignement va plus loin. Il prévoit que l'IA intègre le jugement humain et l'obligation de rendre des comptes, soit testée en fonction des risques, documente ses limites et fasse l'objet d'une vérification indépendante lorsque cela est approprié.

La Task Force Lima, initiative du Pentagone créée spécifiquement pour examiner l'IA générative, a aussi explicitement mis en garde contre les hallucinations, l'explicabilité limitée et le manque de maturité des méthodes de test. Elle a indiqué que les utilisateurs devaient comprendre ces limites avant de déployer l'IA générative dans des environnements critiques pour la sûreté ou la sécurité.

Dans le même temps, le Pentagone a rapidement étendu l'usage de l'IA au commandement et au contrôle, à la planification opérationnelle, à l'aide à la décision et au renseignement, par des initiatives comprenant l'AI Rapid Capabilities Cell.

Le problème n'a donc jamais été que personne ne savait que l'IA pouvait se tromper avec assurance.

Le problème est ce qui se produit lorsqu'une organisation le sait et laisse malgré tout une conclusion produite par l'IA aller trop loin avant que quelqu'un la vérifie.

Voilà le risque de l'IA qui mérite notre attention

La leçon la plus utile de cet épisode n'a presque rien à voir avec la conscience des machines.

Rien de ce qui a été publié ne laisse penser que le chatbot comprenait ce qu'était un navire chinois, comprenait la guerre, souhaitait qu'il arrive quelque chose au bâtiment ou avait déclenché de manière autonome une action militaire.

Il a répondu à une question.

Des humains auraient accepté la réponse.

Un humain en a fait un produit de renseignement.

D'autres humains ont commencé à préparer une opération.

Enfin, des humains ont vérifié les informations sous-jacentes et l'ont interrompue.

C'est un danger de l'IA bien plus réaliste que le scénario familier de science-fiction dans lequel une machine développe soudain des désirs et décide que l'humanité doit disparaître.

Les systèmes actuels d'IA générative peuvent produire des réponses fluides, convaincantes et d'apparence autorisée qui sont fausses.

Le danger commence lorsque la personne qui lit la réponse l'oublie.

Les principales questions restent sans réponse

Nous ne savons toujours pas quel système d'IA a été utilisé.

Nous ne connaissons pas le navire.

Nous ne connaissons pas sa destination.

Nous ne savons pas ce qu'il transportait réellement.

Nous ne connaissons pas la consigne exacte.

Nous ne savons pas quel commandement a autorisé les préparatifs opérationnels.

Nous ne savons pas qui a détecté l'erreur.

Et nous ne savons pas si le rapport de renseignement indiquait à ses lecteurs que l'IA avait contribué à produire sa conclusion.

Ces questions comptent davantage que celle de savoir si le chatbot a « halluciné » au sens strictement technique du terme.

Car si le récit de CNN est exact, le plus inquiétant n'est pas qu'un système d'IA ait commis une erreur.

Les systèmes d'IA commettent des erreurs.

Le plus inquiétant est qu'une erreur ait apparemment acquis suffisamment de crédibilité institutionnelle pour que des aéronefs décollent et que des militaires armés préparent une interception avant que quelqu'un exige de meilleures preuves.

Nul besoin de conscience.