ИИ не обрел сознание. Он выдумал ядерный груз и едва не спровоцировал столкновение США и Китая

По данным CNN, ошибочный доклад американской разведки, подготовленный с помощью ИИ, связал китайское судно с компонентами программы ядерного оружия и подтолкнул военных к подготовке перехвата. Настоящая опасность заключалась не в разумной машине. Она заключалась в людях, которые доверились машинному выводу, не прошедшему должной проверки.

Искусственный интеллект не проснулся, не обрел самосознание и не решил начать войну с Китаем.

Судя по сообщениям, произошло нечто гораздо менее кинематографичное и, возможно, гораздо более полезное для понимания.

По данным CNN, ссылающейся на четыре неназванных источника, знакомых с инцидентом, во время войны с Ираном был распространен доклад военной разведки США, утверждавший, что китайское судно на Ближнем Востоке перевозит «компоненты программы ядерного оружия».

Американские военные начали готовиться к перехвату судна. Два источника сообщили CNN, что вооруженные сотрудники готовились подняться на его борт. По словам двух источников, военные самолеты уже находились в воздухе.

Затем должностные лица внимательнее изучили разведданные.

Доклад был подготовлен с помощью чат-бота на основе ИИ, который, как сообщается, неверно определил груз судна. Операцию остановили до высадки на борт.

Один из неназванных источников CNN назвал доклад «полностью ложным» и заявил, что этот эпизод «едва не начал войну».

Последнее описание является оценкой источника, а не официальным выводом Пентагона.

Есть и важная оговорка: сам инцидент не был публично подтвержден Пентагоном, Китаем или другим независимым источником. По состоянию на 19 сентября последующие публикации, найденные Israel News Pulse, в основном восходили к первоначальному репортажу CNN.

Это не было судно, полное ядерного оружия

Выражение «ядерный груз» требует пояснения.

CNN сообщила, что разведывательная оценка связывала груз с компонентами программы ядерного оружия.

Это не то же самое, что утверждать, будто судно перевозило ядерную бомбу, обогащенный уран, плутоний или радиоактивные материалы.

На самом деле подлинный груз по-прежнему не известен общественности.

Как и название судна, его пункт назначения, флаг, владелец и даже то, с ядерной программой какой страны якобы были связаны предполагаемые компоненты.

Сообщения, утверждающие, что судно точно направлялось в Иран или действительно перевозило ядерные материалы, выходят за пределы того, что было публично установлено.

Действительно ли ИИ галлюцинировал?

Вероятно, в повседневном смысле слова. С технической точки зрения мы пока не знаем.

CNN сообщила, что аналитик задал чат-боту вопрос о разведданных, касавшихся грузового манифеста судна. По сообщениям, система объединила информацию из открытых источников с секретными данными радиоэлектронной разведки и выдала ложный вывод.

Затем аналитик, как сообщается, вновь использовал ИИ, чтобы оформить результаты в виде обычного разведывательного доклада.

Этот второй шаг может оказаться одной из важнейших деталей всей истории.

Сомнительный машинный вывод уже не оставался в окне чат-бота. По всей видимости, он превратился в нечто, похожее на обычный разведывательный продукт.

Это может создать опасную иллюзию авторитетности.

Но без доступа к запросу, исходным материалам, ответу модели, системе поиска информации и реальному грузу никто за пределами расследования не может знать, была ли это чистая галлюцинация ИИ, неудачное объединение источников, ошибочные исходные разведданные, плохо составленный запрос, неправильное использование системы аналитиком или сочетание этих факторов.

Из описания CNN, однако, достаточно ясно следует, что проверка человеком не сработала вплоть до очень позднего этапа процесса.

Пентагон уже знал, что такое возможно

Ничто из этого не является недавно обнаруженной слабостью генеративного ИИ.

Министерство обороны официально приняло принципы ИИ, требующие, чтобы его системы были ответственными, прослеживаемыми, надежными и управляемыми. Его определение «прослеживаемости» прямо требует, чтобы сотрудники понимали, как работают системы ИИ, и имели доступ к методикам, источникам данных и документации, которые можно проверить.

Собственная этическая рамка ИИ американского разведывательного сообщества идет дальше. Она предусматривает, что ИИ должен включать человеческое суждение и подотчетность, тестироваться с учетом рисков, документировать свои ограничения и при необходимости проходить независимую проверку.

А рабочая группа Lima, инициатива Пентагона, созданная специально для изучения генеративного ИИ, прямо предупреждала о галлюцинациях, ограниченной объяснимости и незрелых методах тестирования. Она указывала, что пользователи должны понимать эти ограничения до внедрения генеративного ИИ в средах, критически важных для безопасности.

Одновременно Пентагон быстро расширял применение ИИ в командовании и управлении, оперативном планировании, поддержке принятия решений и разведывательной деятельности через инициативы, включая AI Rapid Capabilities Cell, подразделение быстрого развития возможностей ИИ.

Таким образом, проблема никогда не заключалась в том, что никто не знал о способности ИИ уверенно ошибаться.

Проблема в том, что происходит, когда организация знает об этом, но все равно позволяет выводу ИИ продвинуться слишком далеко, прежде чем кто-то его проверит.

Вот риск ИИ, на который стоит обратить внимание

Самый полезный урок этого эпизода почти не связан с машинным сознанием.

Ничто из опубликованного не указывает на то, что чат-бот понимал, что такое китайское судно, понимал, что такое война, хотел, чтобы с кораблем что-то случилось, или самостоятельно начал военную операцию.

Он ответил на запрос.

Люди, как сообщается, приняли ответ.

Один человек превратил его в разведывательный продукт.

Другие люди начали готовить операцию.

И наконец, люди проверили исходную информацию и остановили ее.

Это гораздо более реалистичная опасность ИИ, чем знакомый научно-фантастический сценарий, в котором машина внезапно обретает желания и решает, что человечество должно исчезнуть.

Современные системы генеративного ИИ могут выдавать гладкие, убедительные и авторитетно звучащие ответы, которые неверны.

Опасная часть начинается, когда человек, читающий ответ, забывает об этом.

Главные вопросы пока остаются без ответа

Мы до сих пор не знаем, какую систему ИИ использовали.

Мы не знаем, что это было за судно.

Мы не знаем его пункта назначения.

Мы не знаем, что оно на самом деле перевозило.

Мы не знаем точного запроса.

Мы не знаем, какое командование санкционировало оперативную подготовку.

Мы не знаем, кто обнаружил ошибку.

И мы не знаем, сообщал ли разведывательный доклад своим читателям, что ИИ участвовал в формировании его вывода.

Эти вопросы важнее того, «галлюцинировал» ли чат-бот в строгом техническом смысле слова.

Потому что, если рассказ CNN точен, тревожит не то, что система ИИ допустила ошибку.

Системы ИИ ошибаются.

Тревожит то, что ошибка, по-видимому, приобрела достаточно институционального доверия, чтобы самолеты поднялись в воздух, а вооруженные сотрудники начали готовиться к перехвату, прежде чем кто-то потребовал более веских доказательств.

Сознание для этого не требуется.