Никакого искусственного интеллекта у ядерной кнопки. Специалисты США и Китая предлагают красные линии
Ядерный пуск должен оставаться решением человека, но новая опасность возникает задолго до самой команды на запуск. Автономная система может вмешаться в сеть ядерного управления, начать кибератаку или ошибочно ответить на действия противника, после чего военному руководству останутся считаные минуты, чтобы понять, началась настоящая атака или машина вышла за заданные рамки.
Специалист Brookings Institution Мелани Сиссон и доцент Фуданьского университета Цзян Тяньцзяо предложили США и Китаю заранее провести «красные линии» для военного искусственного интеллекта (ИИ). Оба автора участвуют в неофициальном американо-китайском диалоге по ИИ и национальной безопасности, который Brookings и центр стратегических исследований Университета Цинхуа ведут с 2019 года. Вашингтон и Пекин уже готовят более широкий диалог по ИИ, где одним из центральных вопросов станут автономные системы и риск неконтролируемых кибератак.
Первая граница касается ядерных сил. ИИ не должен самостоятельно принимать решение о применении ядерного оружия или атаковать системы ядерного командования, управления и связи, известные как NC3. Сиссон предлагает оставить за человеком и решение о запуске кибератак против подобных систем или другой критически важной инфраструктуры. Ошибка агента, превышение полномочий или компрометация модели способны создать ситуацию, которую другая сторона примет за сознательный первый удар.
Вторая проблема сложнее простого требования «оставить человека в контуре». Вашингтону и Пекину предлагают совместно определить, что именно считать значимым человеческим контролем. При полностью автоматизированном обмене ударами формальное подтверждение человеком мало поможет, если защитный ИИ обнаружит угрозу и ответит за миллисекунды. Похожую красную линию для военных систем в июле призывала провести ООН, добиваясь ограничений для летального автономного оружия.
Третьим предохранителем может стать отдельная военная горячая линия для инцидентов с ИИ. Канал позволил бы быстро сообщить другой стороне, что необычная операция возникла из-за ошибки, не была санкционирована руководством или ещё расследуется. Без такого механизма автоматическая защита одной страны способна запустить ответные действия, которые противник воспримет как новую атаку, создавая цепочку взаимной эскалации.
Базовое политическое соглашение уже существует. В ноябре 2024 года лидеры США и Китая договорились сохранять человеческий контроль над решениями о применении ядерного оружия и осторожно внедрять ИИ в военной сфере. Однако общая формулировка пока не определяет, насколько автономными могут быть киберсистемы, где заканчивается помощь алгоритма и начинается самостоятельное военное решение.
Сиссон и Цзян подробно изложили пакет рекомендаций 9 сентября. Авторы предлагают запретить автономные атаки на ядерную инфраструктуру, согласовать терминологию человеческого контроля и создать специальный канал связи для ИИ-инцидентов. Ни Вашингтон, ни Пекин пока официально не приняли предложенные меры.
Новая дискуссия показывает, как соперничество США и Китая постепенно выходит за пределы процессоров и языковых моделей. Теперь страны пытаются определить правила для ситуации, в которой ошибка или неожиданное поведение автономной системы может выглядеть как сознательная военная операция. Именно риск перепутать машинный сбой с атакой стал центральным вопросом новых предложений по безопасности.
Споры о границах военного ИИ уже затронули разработчиков крупнейших моделей. В США конфликт дошёл до суда после того, как Anthropic отказалась снимать ограничения Claude для автономного оружия и внутренней слежки, а суд впоследствии признал действия Пентагона против компании незаконными.
Одновременно американские спецслужбы продолжают искать задачи, где ИИ можно применять без передачи машине окончательного решения. АНБ, например, испытывало модель Anthropic Mythos для поиска уязвимостей в зарубежных сетях, несмотря на более широкий спор вокруг военного ИИ и условий его применения.
Граница между помощью алгоритма и самостоятельным применением силы становится всё менее очевидной по мере роста автономности моделей. Поэтому США и Китай обсуждают уже не абстрактную безопасность ИИ, а механизм, который должен не дать программе принять действие за приказ, а противнику принять ошибку программы за начало войны.