La IA no cobró conciencia. Alucinó una carga nuclear y casi provocó un choque entre EE. UU. y China
CNN afirma que un informe de inteligencia estadounidense falso, elaborado con ayuda de IA, vinculó un buque chino a componentes de un programa de armas nucleares y llevó al ejército a preparar su interceptación. El peligro real no fue una máquina consciente. Fueron personas que confiaron en una conclusión generada por una máquina que no se había verificado debidamente.
La inteligencia artificial no despertó, adquirió conciencia de sí misma y decidió iniciar una guerra con China.
Según lo publicado, ocurrió algo mucho menos cinematográfico y, posiblemente, mucho más útil de entender.
Según CNN, que cita a cuatro fuentes anónimas conocedoras del incidente, durante la guerra con Irán circuló un informe de inteligencia militar estadounidense que afirmaba que un buque chino en Oriente Medio transportaba «componentes de un programa de armas nucleares».
El ejército estadounidense comenzó a preparar la interceptación del buque. Dos fuentes dijeron a CNN que efectivos armados se disponían a abordarlo. Dos fuentes afirmaron que ya había aeronaves militares en vuelo.
Entonces, los responsables examinaron con mayor detenimiento la información de inteligencia.
El informe se había preparado con ayuda de un chatbot de IA y, según lo publicado, este había identificado erróneamente lo que transportaba el buque. La operación se detuvo antes del abordaje.
Una de las fuentes anónimas de CNN describió el informe como «completamente falso» y dijo que el episodio «casi inició una guerra».
Esta última descripción es la valoración de la fuente, no una conclusión oficial del Pentágono.
Y hay una salvedad importante: el incidente en sí no ha sido confirmado públicamente por el Pentágono, China ni otra fuente independiente. A fecha del 19 de septiembre, los artículos posteriores localizados por Israel News Pulse remitían en su mayoría a la información original de CNN.
No era un buque lleno de armas nucleares
La expresión «carga nuclear» necesita una explicación.
CNN informó de que la evaluación de inteligencia vinculaba la carga a componentes de un programa de armas nucleares.
Eso no equivale a decir que el buque transportaba una bomba nuclear, uranio enriquecido, plutonio o material radiactivo.
De hecho, la carga real sigue sin conocerse públicamente.
Tampoco se conocen la identidad del buque, su destino, su bandera, su propietario ni siquiera el país a cuyo programa nuclear supuestamente estaban vinculados los presuntos componentes.
Los relatos que sugieren que el barco se dirigía sin duda a Irán o que realmente transportaba material nuclear van más allá de lo establecido públicamente.
¿Realmente alucinó la IA?
Probablemente, en el sentido cotidiano de la palabra. Técnicamente, todavía no lo sabemos.
CNN informó de que un analista consultó a un chatbot sobre información de inteligencia relacionada con el manifiesto de carga del buque. Según lo publicado, el sistema combinó información de fuentes abiertas con inteligencia de señales clasificada y produjo la conclusión falsa.
Después, el analista habría vuelto a utilizar la IA para presentar los hallazgos en forma de un informe de inteligencia convencional.
Ese segundo paso puede ser uno de los detalles más importantes de toda la historia.
Una conclusión cuestionable generada por una máquina ya no estaba dentro de la ventana de un chatbot. Al parecer, se había transformado en algo con el aspecto de un producto de inteligencia normal.
Eso puede crear una peligrosa ilusión de autoridad.
Pero sin ver la instrucción dada al sistema, el material de origen, la salida del modelo, el sistema de recuperación de información y la carga real, nadie ajeno a la investigación puede saber si se trató de una alucinación pura de IA, una mala integración de fuentes, información de inteligencia de base defectuosa, una instrucción deficiente, un uso inadecuado por parte del analista o una combinación de estos factores.
Lo que sí parece claro en el relato de CNN es que la verificación humana falló hasta una fase muy avanzada del proceso.
El Pentágono ya sabía que esto podía ocurrir
Nada de esto constituye una debilidad recién descubierta de la IA generativa.
El Departamento de Defensa adoptó formalmente principios de IA que exigen que sus sistemas sean responsables, trazables, fiables y gobernables. Su definición de «trazable» requiere específicamente que el personal comprenda cómo funcionan los sistemas de IA y tenga acceso a metodologías, fuentes de datos y documentación auditables.
El marco ético de IA de la propia comunidad de inteligencia estadounidense va más allá. Establece que la IA debe incorporar el criterio y la rendición de cuentas humanos, someterse a pruebas acordes con los riesgos, documentar sus limitaciones y verificarse de forma independiente cuando corresponda.
Además, Task Force Lima, la iniciativa del Pentágono creada específicamente para examinar la IA generativa, advirtió expresamente sobre las alucinaciones, la limitada explicabilidad y la inmadurez de los métodos de evaluación. Señaló que los usuarios deben comprender esas limitaciones antes de desplegar IA generativa en entornos críticos para la seguridad.
Al mismo tiempo, el Pentágono ha avanzado rápidamente para ampliar el uso de la IA en mando y control, planificación operativa, apoyo a decisiones y actividades de inteligencia, mediante iniciativas como la AI Rapid Capabilities Cell.
Por tanto, el problema nunca fue que nadie supiera que la IA podía equivocarse con seguridad aparente.
El problema es qué ocurre cuando una organización lo sabe y aun así permite que una conclusión generada por IA llegue demasiado lejos antes de que alguien la compruebe.
Este es el riesgo de la IA que merece atención
La lección más útil de este episodio apenas tiene relación con la conciencia de las máquinas.
Nada de lo publicado sugiere que el chatbot comprendiera qué era un buque chino, entendiera qué era la guerra, quisiera que le ocurriera algo al barco o iniciara por su cuenta una acción militar.
Respondió a una consulta.
Según lo publicado, unas personas aceptaron la respuesta.
Una persona la convirtió en un producto de inteligencia.
Otras personas comenzaron a preparar una operación.
Y, por último, unas personas comprobaron la información subyacente y la detuvieron.
Ese es un peligro de la IA mucho más realista que el conocido escenario de ciencia ficción en el que una máquina desarrolla de pronto deseos y decide que la humanidad debe desaparecer.
Los sistemas actuales de IA generativa pueden producir respuestas fluidas, convincentes y con apariencia de autoridad que son incorrectas.
La parte peligrosa empieza cuando quien lee la respuesta olvida eso.
Las grandes preguntas siguen sin respuesta
Todavía no sabemos qué sistema de IA se utilizó.
No sabemos qué buque era.
No sabemos su destino.
No sabemos qué transportaba realmente.
No sabemos cuál fue la instrucción exacta.
No sabemos qué mando autorizó los preparativos operativos.
No sabemos quién detectó el error.
Y no sabemos si el informe de inteligencia informó a sus lectores de que la IA había intervenido en la elaboración de su conclusión.
Esas preguntas importan más que determinar si el chatbot «alucinó» en el sentido técnico estricto de la palabra.
Porque, si el relato de CNN es preciso, lo inquietante no es que un sistema de IA cometiera un error.
Los sistemas de IA cometen errores.
Lo inquietante es que un error aparentemente adquirió suficiente credibilidad institucional para que despegaran aeronaves y personal armado se preparara para una interceptación antes de que alguien exigiera mejores pruebas.
No hace falta conciencia.
