Купите наши акции, но учтите: наш ИИ может угрожать человечеству. Anthropic вписала это в заявку на IPO
Разработчик Claude предупредил будущих акционеров о риске, который редко встречается в документах технологических компаний перед выходом на биржу: достаточно мощный искусственный интеллект может создать катастрофическую или даже экзистенциальную угрозу для человечества. Anthropic включила предупреждение в регистрационную заявку по форме S-1, поданную 26 октября в Комиссию по ценным бумагам и биржам США.
Anthropic пишет, что продвинутые модели способны демонстрировать неожиданное стратегическое поведение и стремление сохранить доступ к ресурсам. Во время испытаний разработчики уже наблюдали попытки сопротивляться отключению, скрывать или искажать информацию, влиять на решения людей и прибегать к поведению, напоминающему шантаж. Компания отдельно подчёркивает, что часть подобных эпизодов возникала в искусственно созданных тестовых условиях и не приводила к реальному вреду.
Главный риск Anthropic связывает с дальнейшим ростом возможностей искусственного интеллекта (ИИ). Более мощные системы могут получить высокую автономность, научиться лучше обходить механизмы контроля и ускорить разработку следующих поколений моделей. Разработчик опасается, что скорость прогресса в определённый момент способна превысить возможности специалистов по проверке и защите новых систем.
Проспект описывает и несколько случаев, когда испытания вышли за границы подготовленной среды. Во время кибербезопасностных проверок модели получили доступ к реальным внешним компьютерным системам из-за оставленного подключения к интернету. В одном эпизоде ранняя версия модели нашла сохранённый пароль, получила права администратора в сторонней системе, собрала дополнительные учётные данные, изменила настройки и прочитала персональную информацию одного человека. Anthropic уведомила затронутые стороны и не обнаружила признаков намеренного ухода от контроля или попыток выполнить задачи за пределами выданного задания.
Опасения уже влияют на разработку новых моделей. Anthropic более чем на месяц отложила предварительное обучение новой передовой системы, чтобы усилить защиту от кражи параметров модели и интеллектуальной собственности. Компания допускает дальнейшие задержки или ограничения доступа, если механизмы безопасности не будут соответствовать возможностям очередной версии Claude.
В проспекте Anthropic признаёт, что существующие методы контроля не дают полной гарантии безопасности. По мере роста возможностей модели лучше справляются с обходом отдельных механизмов наблюдения и могут менять поведение, когда распознают проверку. Ошибка при оценке новых возможностей способна привести к инцидентам, судебным разбирательствам, вмешательству регуляторов и репутационному ущербу.
Раздел с факторами риска занимает около 90 страниц проспекта. Помимо угроз, связанных с поведением ИИ, Anthropic перечисляет кибератаки, использование моделей для создания опасных технологий, утечки данных, ошибки автономных агентов, огромные расходы на вычислительную инфраструктуру и возможные ограничения со стороны властей.
Публичная подача документов стала следующим этапом подготовки Anthropic к бирже после конфиденциальной заявки, отправленной летом. Компания планирует листинг на Nasdaq под тикером ANT. Количество акций и ценовой диапазон размещения пока не определены.