Чат-бот сгенерировал ложные сведения о том, что на китайском судне якобы находились детали для ядерного оружия, и, по словам четырёх источников, этот фальшивый доклад едва не привёл к досмотру американскими военными.
Ключевые моменты:
- Вооружённые американские военные готовились к высадке на китайское судно на Ближнем Востоке, когда боевые самолёты уже находились в воздухе.
- Ошибку обнаружили незадолго до начала операции, после того как выяснилось, что данные были сгенерированы чат-ботом.
- Эксперты призывают провести жёсткие «красные линии» для ИИ в вопросах ядерного применения и создать горячую линию для инцидентов с ИИ.
Чат-бот неверно истолковал грузовую декларацию китайского судна
Четверо знакомых с ситуацией рассказали об оценке, которая этой весной разошлась по американским военным структурам на фоне войны с Ираном. В документе утверждалось, что китайское судно на Ближнем Востоке перевозило компоненты для ядерной программы. Отчёт по грузовой декларации был подготовлен в Командовании специальных операций США в Тихоокеанском регионе, базирующемся на Гавайях, которое не ответило на запрос о комментарии.
Военнослужащие уже готовились к абордажу, а самолёты находились в воздухе. Лишь незадолго до запланированной операции чиновники начали перепроверять доклад и выяснили, что аналитик собрал его с помощью ИИ, а чат-бот неверно определил характер груза на борту.
По данным источников, бот совместил открытые материалы с засекреченными данными радиоразведки, хранящимися в правительственных системах, после чего аналитик ещё раз прогнал выводы через ИИ, чтобы оформить их как обычный разведывательный продукт.
Один из источников назвал доклад «полностью ложным». Журналистам не удалось установить, что именно перевозилось на судне, а также определить, был ли чат-бот коммерческим или государственным продуктом.
Также читайте: Прогнозы Nvidia на 2030 год показывают разрыв от $727 до $28 560
Сиссон и Цзян призывают ввести «красные линии» для ядерной сферы
Мелани Сиссон из Brookings Institution и Тяньцзяо Цзян из Fudan University опубликовали на прошлой неделе меры защиты для военного ИИ в рамках диалога, который две организации ведут вместе с Tsinghua University с 2019 года. Они предлагают ввести запретительные «красные линии» — в частности, не допускать использование технологии при принятии решений о ядерном ударе и при атаках на системы ядерного командования противника.
Кроме того, они предложили создать отдельную горячую линию для инцидентов с ИИ и выработать общее определение понятия «эффективный человеческий контроль». Их предложения адресованы децентрализованной системе, в которой нет единого стандарта проверки результатов работы инструментов, а надёжность решений сильно различается в разных ведомствах. Чиновники отмечают, что использование ИИ в задачах целеуказания расширяется, однако чётких инструкций о том, как именно человек-оператор должен предотвращать жертвы среди гражданских или «дружественный огонь», по-прежнему мало.
Стратегия Хегсета в сфере ИИ вызывает вопросы
Министр обороны Пит Хегсет представил в январе 2026 года стратегию ускоренного внедрения, которая предусматривала переход к модели «ИИ прежде всего» во всех родах войск и предоставление моделей трём миллионам военнослужащих и сотрудников. Однако с тех пор внедрение идёт фрагментарно: разные подразделения используют разные инструменты и действуют по разным правилам безопасности.
Вашингтон и Пекин уже не впервые сталкиваются с этой проблемой. В ноябре 2024 года Джо Байден и Си Цзиньпин договорились, что решения о применении ядерного оружия должны оставаться за человеком, а не за машиной, однако механизмов контроля стороны не прописали. Дональд Трамп примет Си в Вашингтоне 24 сентября; тема ИИ, как ожидается, будет одной из ключевых на переговорах.
Читайте далее: Google Gemini взломал три компании в ходе первых известных автономных атак
