A IA não ganhou consciência. Alucinou uma carga nuclear e quase provocou um confronto entre EUA e China

A CNN afirma que um relatório falso de inteligência dos EUA, elaborado com ajuda de IA, ligou um navio chinês a componentes de um programa de armas nucleares e levou os militares a preparar uma interceptação. O perigo real não era uma máquina consciente. Eram seres humanos confiando em uma conclusão gerada por máquina que não havia sido devidamente verificada.

A inteligência artificial não acordou, adquiriu autoconsciência e decidiu iniciar uma guerra com a China.

Segundo o relato, aconteceu algo muito menos cinematográfico e, possivelmente, muito mais útil de entender.

De acordo com a CNN, que cita quatro fontes não identificadas a par do incidente, um relatório de inteligência militar dos EUA circulou durante a guerra com o Irã, alegando que um navio chinês no Oriente Médio transportava “componentes de um programa de armas nucleares”.

Os militares americanos começaram a preparar a interceptação do navio. Duas fontes disseram à CNN que agentes armados se preparavam para embarcar nele. Duas fontes afirmaram que aeronaves militares já estavam no ar.

Então, autoridades examinaram as informações de inteligência com mais atenção.

O relatório havia sido preparado com a ajuda de um chatbot de IA, e o chatbot teria identificado incorretamente o que o navio transportava. A operação foi interrompida antes de o navio ser abordado.

Uma das fontes não identificadas da CNN descreveu o relatório como “inteiramente falso” e disse que o episódio “quase iniciou uma guerra”.

Essa última descrição é a avaliação da fonte, não uma conclusão oficial do Pentágono.

E há uma ressalva importante: o incidente em si não foi confirmado publicamente pelo Pentágono, pela China ou por outra fonte independente. Até 19 de setembro, as reportagens posteriores localizadas pelo Israel News Pulse remetiam, em sua maioria, à apuração original da CNN.

Não era um navio cheio de armas nucleares

A expressão “carga nuclear” precisa ser esclarecida.

A CNN informou que a avaliação de inteligência ligava a carga a componentes de um programa de armas nucleares.

Isso não equivale a dizer que o navio transportava uma bomba nuclear, urânio enriquecido, plutônio ou material radioativo.

Na verdade, a carga real continua sem ser conhecida publicamente.

O mesmo vale para a identidade do navio, seu destino, sua bandeira, seu proprietário e até o país a cujo programa nuclear os supostos componentes estariam ligados.

Relatos que sugerem que o navio certamente seguia para o Irã ou de fato transportava material nuclear vão além do que foi estabelecido publicamente.

A IA realmente alucinou?

Provavelmente no sentido cotidiano da palavra. Tecnicamente, ainda não sabemos.

A CNN informou que um analista consultou um chatbot sobre informações de inteligência relativas ao manifesto de carga do navio. Segundo o relato, o sistema combinou informações de fontes abertas com inteligência de sinais sigilosa e produziu a conclusão falsa.

O analista teria então usado a IA novamente para apresentar os resultados em um relatório de inteligência convencional.

Esse segundo passo pode ser um dos detalhes mais importantes de toda a história.

Uma conclusão questionável gerada por máquina já não estava apenas na janela de um chatbot. Aparentemente, havia sido transformada em algo que parecia um produto de inteligência normal.

Isso pode criar uma perigosa ilusão de autoridade.

Mas, sem ver o comando dado ao sistema, o material de origem, a saída do modelo, o sistema de recuperação de informações e a carga real, ninguém fora da investigação pode saber se foi uma alucinação pura da IA, uma integração ruim de fontes, informações de inteligência de base defeituosas, um comando inadequado, uso incorreto pelo analista ou uma combinação desses fatores.

O que parece claro no relato da CNN é que a verificação humana falhou até uma fase muito avançada do processo.

O Pentágono já sabia que isso poderia acontecer

Nada disso é uma fraqueza recém-descoberta da IA generativa.

O Departamento de Defesa adotou formalmente princípios de IA que exigem sistemas responsáveis, rastreáveis, confiáveis e controláveis. Sua definição de “rastreável” exige especificamente que o pessoal compreenda como os sistemas de IA funcionam e tenha acesso a metodologias, fontes de dados e documentação auditáveis.

A estrutura de ética em IA da própria comunidade de inteligência dos EUA vai além. Ela estabelece que a IA deve incorporar julgamento humano e responsabilização, ser testada de acordo com os riscos envolvidos, documentar suas limitações e ser verificada de forma independente quando apropriado.

E a Força-Tarefa Lima, iniciativa do Pentágono criada especificamente para examinar a IA generativa, alertou expressamente para alucinações, explicabilidade limitada e métodos de teste imaturos. Afirmou que os usuários precisam entender essas limitações antes de empregar IA generativa em ambientes críticos para a segurança.

Ao mesmo tempo, o Pentágono vem avançando rapidamente na expansão da IA para comando e controle, planejamento operacional, apoio à decisão e atividades de inteligência, por meio de iniciativas como a AI Rapid Capabilities Cell.

Portanto, o problema nunca foi que ninguém sabia que a IA poderia errar com confiança.

O problema é o que acontece quando uma organização sabe disso e, ainda assim, permite que uma conclusão gerada por IA avance longe demais antes de alguém verificá-la.

Este é o risco da IA que merece atenção

A lição mais útil desse episódio quase nada tem a ver com a consciência das máquinas.

Nada do que foi divulgado publicamente sugere que o chatbot entendia o que era um navio chinês, compreendia o que era uma guerra, queria que algo acontecesse com a embarcação ou iniciou por conta própria uma ação militar.

Ele respondeu a uma consulta.

Segundo o relato, seres humanos aceitaram a resposta.

Uma pessoa a transformou em um produto de inteligência.

Outras pessoas começaram a preparar uma operação.

E, finalmente, seres humanos verificaram as informações de base e interromperam a operação.

Esse é um perigo da IA muito mais realista do que o conhecido cenário de ficção científica em que uma máquina subitamente desenvolve desejos e decide que a humanidade precisa desaparecer.

Os sistemas atuais de IA generativa podem produzir respostas fluentes, convincentes e com aparência de autoridade que estão erradas.

A parte perigosa começa quando a pessoa que lê a resposta esquece disso.

As maiores perguntas continuam sem resposta

Ainda não sabemos qual sistema de IA foi usado.

Não sabemos qual era o navio.

Não sabemos seu destino.

Não sabemos o que ele realmente transportava.

Não sabemos qual foi o comando exato.

Não sabemos qual comando militar autorizou os preparativos operacionais.

Não sabemos quem identificou o erro.

E não sabemos se o relatório de inteligência informou aos leitores que a IA havia participado da elaboração de sua conclusão.

Essas perguntas importam mais do que saber se o chatbot “alucinou” no sentido técnico estrito da palavra.

Porque, se o relato da CNN estiver correto, o aspecto perturbador não é que um sistema de IA tenha cometido um erro.

Sistemas de IA cometem erros.

O aspecto perturbador é que um erro aparentemente ganhou credibilidade institucional suficiente para que aeronaves decolassem e agentes armados se preparassem para uma interceptação antes de alguém exigir evidências melhores.

Não é preciso consciência.