Astra прошла Portal за сутки. Искусственный интеллект больше не просит человека нажать кнопку
Новая GPT-6 Astra всего через несколько дней после релиза добралась до видеоигр. В двух независимых экспериментах модель самостоятельно довела Portal до финальных титров и добыла алмаз в Minecraft, управляя играми через подключённые инструменты. Особенно показательным оказался не сам результат, а способность агента часами наблюдать за экраном, строить план, исправлять ошибки и продолжать работу без постоянных команд человека.
Portal модель прошла 5 сентября. Автор эксперимента под ником cozyblaze опубликовал использованную систему, журналы сессии и конфигурацию. Полный прогон занял около 23 часов 43 минут с учётом ожидания и перебоев из-за ограничений вычислительных мощностей. После первоначального задания человек не руководил прохождением, а в конце лишь попросил оставить финальные титры на экране.
Однако называть эксперимент обычным прохождением в реальном времени было бы неправильно. Пока Astra размышляла, Portal стоял на паузе. Модель получала скриншот, координаты персонажа и направление камеры, выбирала следующую последовательность действий, после чего игра запускалась на ограниченное число тактов. Затем цикл повторялся.
Связь между моделью и Portal построили через Model Context Protocol и модифицированный SourcePauseTool. Astra фактически превратила динамическую игру в длинную последовательность задач на визуальное восприятие, пространственное мышление и управление. Такой режим убирает проблему медленной реакции нейросети, но не решает сами головоломки за неё.
Для полного прохождения потребовалось 3336 вызовов инструментов. Расчётная стоимость запросов по API составила $571,18, хотя автор использовал подписку Codex Pro и не платил эту сумму отдельно за каждый вызов. Опубликованная запись длится около двух часов, поскольку из видео вырезали долгие паузы, во время которых Astra обдумывала следующий шаг.
Результат Portal нельзя считать чистым тестом способности модели самостоятельно осваивать неизвестную игру. Portal вышла ещё в 2007 году, подробно разобрана в прохождениях, видео и интернет-форумах, поэтому знания о головоломках могли попасть в обучающие данные. Гораздо интереснее выглядит способность Astra ориентироваться в трёхмерном пространстве и корректировать движения после неудачных попыток.
Почти одновременно разработчики Уян Чжоу и Тяньюй Вэй дали Astra ещё более открытую задачу. Модель попросили просто добыть алмаз в Minecraft, после чего Чжоу ушёл спать. Примерно через шесть часов в инвентаре персонажа действительно появился алмаз. Авторы утверждают, что дополнительных инструкций по ходу первого прогона не давали.
В Minecraft агент работал через открытый набор инструментов для Windows, который передаёт модели изображения экрана и позволяет управлять клавиатурой и мышью. Система не читает память Minecraft, не получает координаты ресурсов из игры и не использует мод, автоматически ведущий персонажа к нужному блоку. Первый эксперимент проводился в мирном режиме, поэтому Astra не приходилось одновременно отбиваться от враждебных существ.
По словам Чжоу, исходное задание состояло только в просьбе добыть алмаз. Во время прохождения Astra сама выстроила цепочку промежуточных действий. Модель рубила деревья, создавала инструменты, добывала материалы и уходила под землю. Когда запасы древесины закончились, агент вернулся на поверхность, пополнил ресурсы и снова отправился в шахту. В другом прогоне после двух смертельных падений Astra придумала использовать лодку, чтобы безопасно спуститься на дно глубокой пещеры.
Повторные испытания показали большой разброс времени. Один дополнительный прогон занял около четырёх часов, а при другом seed и включённом ночном зрении Astra добралась до первого алмаза за 79 минут. Два независимых запуска, по оценке Вэя, израсходовали примерно половину недельного лимита тарифа 20x Pro при работе GPT-6 Astra в режиме High.
Minecraft уже много лет используют как полигон для исследований искусственного интеллета (ИИ). Ранние проекты обычно получали специальные программные интерфейсы, заранее подготовленные навыки или обучались непосредственно на игровом окружении. Эксперименты с Astra интересны другим подходом. Универсальный ИИ-агент, созданный прежде всего для работы с компьютером, получает цель и пытается добиться результата через тот же визуальный интерфейс, которым пользуется человек.
Именно такой сценарий лучше показывает практический смысл новых возможностей Astra. OpenAI при выпуске модели заявила о серьёзном прогрессе в управлении компьютером, браузером и многошаговых задачах. Portal и Minecraft пока не доказывают появление универсального искусственного интеллекта, зато наглядно показывают сдвиг от нейросети, которая объясняет человеку последовательность действий, к агенту, способному самостоятельно выполнять длинную цепочку действий и часами возвращаться к исходной цели после ошибок.