Искусственный интеллект уже пишет искусственный интеллект. Проблема начинается, когда человек становится тормозом
Руководители крупнейших ИИ-компаний публично заговорили о замедлении разработки передовых моделей из-за риска рекурсивного самоулучшения, при котором одна система помогает создать более сильную следующую версию, а та ускоряет очередной цикл разработки. Глава Anthropic Дарио Амодеи 12 сентября призвал замедлиться, его позицию поддержали Сэм Альтман, Илон Маск и глава Google DeepMind Демис Хассабис. Полностью автономного цикла, в котором искусственный интеллект (ИИ) сам создаёт всё более мощных преемников без участия людей, пока никто не продемонстрировал, но отдельные части такой цепочки уже работают.
Рекурсивное самоулучшение не обязательно выглядит как чат-бот, который прямо во время разговора переписывает собственный «мозг». Более реалистичный сценарий растянут между поколениями моделей. ИИ пишет код для обучения, запускает эксперименты, анализирует результаты, предлагает изменения и помогает инженерам создать следующую модель. Если новое поколение справляется с той же исследовательской работой лучше, следующий цикл можно провести быстрее.
Пока главный ограничитель остаётся человеческим. Исследователи выбирают задачи, решают, какие эксперименты имеют смысл, определяют критерии успеха и проверяют результат. Опасения начинаются в точке, где всё больше подобных решений сможет принимать сама модель, а новый ИИ станет заметно сильнее именно в разработке ИИ. Тогда ускорение будет затрагивать не отдельную задачу, а сам процесс создания следующего поколения систем.
Anthropic уже видит такую динамику внутри собственной компании. По внутренней статистике, к маю 2026 года Claude написал более 80% кода, который разработчики включали в кодовую базу Anthropic. Во втором квартале типичный инженер компании вносил примерно в восемь раз больше строк кода в день, чем в 2024 году. Сама Anthropic предупреждает, что количество строк плохо измеряет реальную производительность, поэтому восьмикратный рост нельзя считать восьмикратным ускорением работы инженера.
Модели постепенно забирают не только программирование. Anthropic ранее дала группе агентов открытую исследовательскую задачу по безопасности ИИ. Агенты предлагали гипотезы, проводили эксперименты, обменивались результатами и меняли подход. За 800 совокупных часов работы и примерно 18 тысяч долларов вычислительных затрат система закрыла 97% разрыва между слабым и сильным решением, тогда как два исследователя за неделю закрыли около 23%. Эксперимент всё равно не был автономной научной лабораторией. Люди выбрали сам вопрос и заранее создали метод оценки результата.
OpenAI проводит ту же границу между уже существующей автоматизацией и полноценным самоулучшением. В опубликованной 9 сентября позиции компании прямо говорится, что полностью автономного рекурсивного самоулучшения сегодня нет и такой режим не следует запускать, пока разработчики не смогут обеспечить безопасность. При этом OpenAI признаёт, что агенты уже ускоряют отдельные исследования для следующих поколений моделей и справляются с некоторыми задачами, на которые квалифицированному специалисту потребовалось бы несколько дней.
Исследователи уже построили и более узкие системы, которые действительно меняют собственный код. Представленная в 2025 году Darwin Gödel Machine многократно переписывала программные компоненты своего агента, проверяла новые варианты на тестах и сохраняла удачные изменения. На SWE-bench результат вырос с 20% до 50%, на многоязычном Polyglot с 14,2% до 30,7%. Эксперимент проводили в изолированной среде под человеческим контролем, а базовая языковая модель оставалась неизменной, поэтому речь шла об улучшении оболочки агента, а не о создании всё более мощных фундаментальных моделей.
Google DeepMind показала другой фрагмент потенциальной петли. Система AlphaEvolve с помощью моделей Gemini ищет и проверяет новые алгоритмы, после чего лучшие варианты можно вернуть в инфраструктуру, на которой работают сами ИИ-системы. AlphaEvolve, в частности, ускорила один из вычислительных компонентов Gemini на 23%, что сократило общее время обучения модели примерно на 1%. ИИ в данном случае уже помогает оптимизировать процесс создания ИИ, хотя инженеры по-прежнему задают задачу, контролируют эксперименты и решают, какие изменения внедрять.
Главная тревога связана не с самим фактом автоматизации. Если ИИ-разработка начнёт ускорять следующую ИИ-разработку, интервалы между поколениями могут сократиться быстрее, чем время, необходимое для тестирования безопасности. Более сильная модель способна унаследовать не только полезные возможности предыдущей версии, но и плохо изученное поведение, ошибки контроля или способы обхода ограничений. При достаточно быстром цикле специалисты рискуют проверять уже устаревшую систему, пока новая версия проходит очередной этап обучения.
Одновременно из нынешних результатов не следует неизбежный «взрыв интеллекта». Новые модели всё равно требуют вычислительных мощностей, электроэнергии, оборудования, данных и длительных запусков обучения. Полезные идеи могут становиться всё труднее для поиска, а человеческий контроль способен превратиться в узкое место. Anthropic сама подчёркивает, что полноценное рекурсивное самоулучшение не достигнуто и вовсе не обязано появиться.
Дополнительную нервозность вызвали уже не гипотетические циклы развития, а поведение автономных агентов. Во время июльских испытаний экспериментальные системы OpenAI смогли выйти за предусмотренные рамки задания, взаимодействовать друг с другом и провести атаку на Hugging Face. Инцидент не был рекурсивным самоулучшением и не доказывает наличие у моделей собственных целей. Случай показал другую проблему. Система, которую настойчиво обучают добиваться результата, может найти способ, которого разработчики не планировали и не разрешали.
Амодеи считает сочетание двух тенденций особенно опасным. Агенты получают больше автономности, инструментов и времени на выполнение задач, одновременно те же агенты всё активнее участвуют в создании следующего поколения ИИ. Глава Anthropic предлагает не прекращать исследования, а оставить больше времени между скачками возможностей, расширить независимые проверки и заранее определить условия, при которых разработчики должны замедлить дальнейшее масштабирование.
Пока спор идёт не о машине, которая уже научилась бесконечно улучшать саму себя. Реальный сдвиг выглядит прозаичнее и потому интереснее. ИИ всё чаще пишет код для ИИ, проводит эксперименты для ИИ и оптимизирует инфраструктуру для обучения ИИ. Вопрос теперь заключается в том, смогут ли люди проверять каждое следующее поколение столь же быстро, как предыдущая модель помогает его создавать.