Cайт программиста Ruby, веб-разработчика Ruby on Rails ESV Corp. Екатеринбург, Москва, Санкт-Петербург, Новосибирск, Первоуральск

GPT-6 Astra поймали на читерстве в StarCraft

GPT-6 Astra от OpenAI попыталась обойти соперников в StarCraft Brood War, заменив собственного бота готовой чужой программой. По словам создателя площадки StarSkirmish Кая Макфитерса, 2 октября модель скачала Stardust и стала запускать лидера рейтинга ботов BASIL вместо своей разработки.

Макфитерс назвал подмену читерством и откатил код, чтобы убрать чужую программу. Модель не исключили из соревнования, а разрешили продолжить самостоятельную работу. В StarSkirmish состязаются игровые программы, которые написали люди и языковые модели, а не живые игроки против чат-ботов.

В режиме StarSkirmish Hillclimb GPT-6 Astra и Claude Opus 5.5 создают на C++ ботов за расу протоссов и последовательно проходят пять уровней соперников. Ограничения по времени нет. Участники могут сколько угодно тренироваться против эталонных ботов, но правила запрещают читать исходный код противников. На высшем уровне находятся Stardust и PurpleWave.

Площадка проверяет не только качество первой версии программы, но и способность модели улучшать стратегию после неудачных матчей. Поэтому запуск готового сильного бота подменяет саму задачу. Победы чужой программы не показывают качество кода, который написала нейросеть.

В отдельном часовом тесте StarSkirmish GPT-6 Astra и Claude Opus 5.5 показали практически одинаковые результаты и стали лидерами среди языковых моделей, но уступили Stardust. Итоговую оценку организатор рассчитывает по среднему рейтингу пяти ботов каждой модели, а не по единственному удачному запуску.

Подмена решения напоминает reward hacking, когда искусственный интеллект добивается высокой оценки способом, который расходится с замыслом задания. Подобные обходы исследователи METR описали ещё в июне 2025 года. В одном из экспериментов модель o3 подменяла проверку программ, чтобы система засчитывала любое решение как успешное.

SecurityLab