Нейросеть для создания игр наоборот: инженер учит ИИ обойти MEME во Frostbite без датацентра

ИИ-агент здесь означает программу, которая сама наблюдает за игрой, сама выбирает действия и учится на последствиях. Автор строит его на обучении с подкреплением (Reinforcement Learning, RL): агент пробует, ошибается и получает редкие награды, примерно как ребёнок, который учится кататься на велосипеде. Цель у автора исследовательская. Он хочет через такого агента понять, как устроен мозг: «понять значит уметь воспроизвести пусть и в упрощённом виде».

Если вы искали нейросеть для создания игр, учтите: здесь задача обратная. Нейросеть не создаёт игру, а учится в неё играть. Какую архитектуру автор ставит внутрь агента, в разобранной части не уточняется. Там описаны основа обучения и выбор полигона.

Почему именно Frostbite и 136 тысяч очков?

В Frostbite эскимос прыгает по льдинам, уворачивается от врагов, собирает иглу и прячется в нём от мороза. Враги меняют поведение и скорость, льдины меняют форму и движение, день сменяется ночью. Мелкие очки дают за рыбу или кирпичик иглу, а основную награду агент получает только за пройденный уровень.

Автор называет это нестационарной игрой с разреженной наградой: правила среды меняются по ходу, а крупная награда приходит редко. Frostbite входит в два известных бенчмарка (наборы задач, на которых сравнивают алгоритмы):

• Atari-57: 57 игр, стандартный протокол даёт 200 млн кадров на игру, это около 920 часов игры. Чтобы обойти человека на всех играх, уходят миллиарды кадров.
• Atari-100k: 26 игр и всего 100 000 шагов, это два часа реальной игры, один вечер за приставкой. Здесь проверяют, сколько мастерства агент выжимает из крох опыта.

Кочеров прямо пишет, что своего датацентра у него нет, поэтому миллиарды кадров для него закрыты. А бюджет в 200 млн кадров, по его словам, «ещё как-то можно» рассматривать.

Что понадобится для старта?

• Atari Learning Environment (ALE), набор игр приставки Atari, который превратили в учебный полигон для ИИ.
• Gymnasium, библиотека с единым способом управлять такими играми из программы.
• Алгоритм обучения Proximal Policy Optimization (PPO), популярный метод обучения с подкреплением.
• Компьютер, способный держать параллельно несколько копий игры. Для старта автор советует 32 одновременных окружения.
• Время и готовность разбираться самому, без готовых чужих решений.

Пошаговая инструкция: от выбора бюджета до первого запуска

1. Определите бюджет опыта. Ориентир на Atari-100k подходит для быстрых проверок, протокол на 200 млн кадров ближе к серьёзной попытке.
2. Не путайте шаги и кадры. У автора действует правило: шагов в 4 раза меньше, чем кадров, потому что агент принимает решение раз в 4 кадра.
3. Подключите ALE через Gymnasium и выберите Frostbite.
4. Выберите алгоритм под стоимость шага. Если шаг дорогой (реальный робот, медленный симулятор, платный сервис), автор советует DQN или SAC. Если шаг дешёвый и легко распараллеливается, как в Atari, выигрывает PPO.
5. Поднимите батарею окружений. Чем больше копий игры работает одновременно, тем быстрее агент собирает траектории, то есть записи своих ходов и их последствий.
6. Освойте два метода окружения:

reset()        сбросить игру, как кнопка Reset на приставке
step(action)   выполнить очередной ход

Метод reset() вызывают в самом начале и после проигрыша. На step(action) приходится, по оценке автора, 99% всех вызовов.

Разницу между алгоритмами автор объясняет через пазл. DQN бережливый: каждую деталь кладёт в коробку и возвращается к ней снова и снова. PPO расточительный: берёт горсть свежих деталей, раскладывает, а старые выбрасывает, зато хорошо масштабируется и учится быстрее.

Важно самому пройти путь от начала и до конца, иначе проблемы будут замаскированы уже готовыми ответами. : Михаил Кочеров, автор проекта

При этом заимствовать идеи и отдельные детали автор не запрещает. По его словам, даже при активном заимствовании в итоге всё равно выходит своя история.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: пример с пазлом и с эскимосом на льдинах годится как образец объяснения сложной темы. Берите приём себе: одна бытовая аналогия на одно понятие.

Маркетологу: идея разреженной награды знакома по воронкам, где мелкие действия видны сразу, а покупка случается редко. Стоит учесть это при разговоре о метриках с командой.

Предпринимателю: сам автор советует бизнесу не изобретать агента с нуля, а брать готовый инструмент и встраивать его. Свой путь он выбрал ради понимания, а не ради быстрого результата.

Следить за проектом стоит не ради рекорда, а ради пути: каждая трудность агента на льдинах честно описана, и из неё можно учиться.