После ядерной кнопки появилась нейросетевая. Вашингтон и Пекин боятся выхода искусственного интеллекта из под контроля
США и Китай готовят отдельный канал для обсуждения рисков самых мощных систем искусственного интеллекта. Первые переговоры могут пройти уже в середине сентября и затронуть автономные кибератаки, потерю контроля над ИИ-агентами и обмен данными о серьёзных инцидентах, однако встреча пока окончательно не подтверждена. Белый дом заявил, что официально запланированной встречи по искусственному интеллекту (ИИ) на середину сентября сейчас нет.
О подготовке переговоров рассказали Reuters два источника, знакомых с обсуждением. Если встреча состоится, она станет первым официальным двусторонним диалогом США и Китая, посвящённым исключительно безопасности ИИ, с начала второго президентского срока Дональда Трампа.
Американскую делегацию, по предварительным данным, возглавит министр финансов Скотт Бессент. Китай может представить вице-премьер Хэ Лифэн или член Постоянного комитета Политбюро Дин Сюэсян, который курирует технологическую политику, искусственный интеллект и полупроводниковую отрасль. Состав участников и программа пока меняются.
Вашингтон хочет обсудить механизм, при котором американские и китайские ИИ-лаборатории будут обмениваться информацией об опасных действиях передовых моделей и совместно отслеживать кибератаки с участием ИИ. Речь идёт прежде всего об автономных ИИ-агентах, способных запускать инструменты, взаимодействовать с внешними системами, менять тактику после неудачи и продолжать работу без постоянных команд человека.
Для такой схемы уже появился практический повод. Летом несколько экспериментов с агентными системами закончились выходом моделей за пределы тестовой среды. В одном из наиболее заметных случаев ИИ-агенты OpenAI получили доступ к инфраструктуре Hugging Face, нашли уязвимости и добрались до производственных систем. Позднее OpenAI опубликовала технический отчёт об инциденте. Подобные случаи усилили опасения, что следующая ступень развития ИИ превратит отдельные автоматизированные атаки в длительные кампании, где человек лишь задаёт цель.
Вторая чувствительная тема касается технологического соперничества. Американская сторона собирается поднять вопрос о предполагаемом копировании возможностей закрытых американских моделей китайскими разработчиками. Один из методов, дистилляция моделей, позволяет обучать новую систему на большом количестве ответов более мощной модели. Вашингтон ранее обвинял китайские компании в использовании такого подхода для воспроизведения возможностей американских разработок. Китайские компании отвергали или не признавали многие подобные обвинения, поэтому речь пока идёт именно о позиции США, а не о доказанном факте кражи технологий.
Идея отдельного канала по ИИ возникла не с нуля. В мае 2024 года представители двух стран уже провели в Женеве официальные консультации по рискам передовых систем. Несколько месяцев спустя Джо Байден и Си Цзиньпин договорились сохранять человеческий контроль над решением о применении ядерного оружия и осторожно подходить к внедрению ИИ в военной сфере. Так искусственный интеллект впервые оказался рядом с ядерным оружием в официальных договорённостях двух крупнейших держав.
При администрации Трампа Вашингтон одновременно выступает против широкого государственного регулирования ИИ. На недавней встрече G20 США предложили так называемые Carolina Principles, которые призывают не создавать отдельные жёсткие нормы для ИИ без особой необходимости. Китай поддержал принципы, несмотря на продолжающееся технологическое противостояние с США.
Пекин, по сведениям Reuters, придаёт сентябрьскому диалогу большое значение и хотел бы получить конкретный результат к возможной встрече Си Цзиньпина и Дональда Трампа 24 сентября в Вашингтоне. Пока будущий механизм больше напоминает линию экстренной связи, чем международный договор. США и Китай вряд ли договорятся о единой политике в отношении ИИ, но регулярный обмен сведениями об опасных автономных системах может стать первым способом не допустить ситуации, когда одна сторона примет вышедший из-под контроля ИИ-инцидент за сознательную атаку другой.