Нейросети для создания видеоигр

Представьте, что игра, над которой раньше приходилось трудиться годами, теперь создаётся нейросетью за считанные секунды. И не пустынный мир, а динамичная вселенная, в которой персонажи реагируют на ваши действия, как живые. Эксперименты от Google, Microsoft, NVIDIA и независимых разработчиков показали, что это уже не выдумка фантастов, а приближающаяся реальность. Я, как человек желающий работать в индустрии игр, решила разобраться, каких результатов уже удалось добиться в внедрении нейросетей в разработку. В этой статье собраны конкретные кейсы: от фанатских модов для Skyrim до коммерческих проектов вроде inZOI. Вы узнаете, какие инструменты уже экономят время разработчикам и какие нововведения появляются в играх для повышения реиграбельности и усиления погружения.

Структура проста: сначала разберём генерацию миров (Google и Microsoft), затем создание контента (3D-модели, анимации), а в финале — революция в дизайне NPC.

Готовы? Погружаемся.

Genie AI — эксперимент от DeepMind Google, опубликованный в феврале 2024 [1; 2]. Модель изучила 30 000 часов фрагментов из видео прохождений 2D-платформеров и обучилась распознавать, как действия игрока влияют на изображение на экране. Genie AI не только генерирует картинку, но и предоставляет возможность с ней взаимодействовать.

Модель может создать игру по референсу пользователя. Google предлагает использовать эту возможность в связке с нейросетями, генерирующими изображения.

Например, слева изображение сделано Imagen 2 AI, a справа — Genie AI на его основе создала интерактивную генерацию, имитирующую механику прыжка.

GameNGen AI — ещё один эксперимент от Google, опубликованный в августе 2024 [3; 4]. Google назвала этот эксперимент «первым игровым движком, полностью основанным на нейронной модели». Нейросеть может заменить обычно используемые движки (например, UE5 или Unity), обновляя состояние игры на основе действий игрока.

В этом случае нейросеть обучалась на собственном игровом процессе, с помощью записанных действий и наблюдений (кадров игры). Каждый новый кадр создавался на основе предыдущих кадров и действий игрока. Такая модель ограничена только памятью, так как помнит только последние 3 секунды.

Чтобы оценить насколько хорошо нейросеть справляется с задачей, исследователи предложили небольшой выборке из десяти человек оценить 130 видео-фрагментов, из которых часть была сгенерирована нейросетью, а другая была взята из реальной игры. Испытуемые отличали сгенерированные фрагменты от оригинала с точностью 58-60%.

CS: GO DIAMOND — эксперимент от исследователей из Университета Женевы, Университета Эдинбурга и Microsoft Research, опубликованный в октябре 2024 [5].

Схож с экспериментом GameNGen AI, но с добавлением ещё одного этапа обучения — дообучения в смоделированной среде. В отличии от экспериментов от Google имеет открытый исходный код, поэтому в неё может сыграть любой желающий.

Также DIAMOND открыто рассказывают о недостатках, которые присутствуют при генерации игры:

— галлюцинации при резких поворотах; — врезание в стену и последующая телепортация; — врезание в стену и потеря в ней же; — бесконтрольная смена оружия.

Genie 2 AI — эксперимент от DeepMind Google, опубликованный в декабре 2024 [6]. Как и первая версия Genie AI, нейросеть способна генерировать не отдельно взятую игру, а создавать совершенно новую игровую вселенную, но уже в 3D. Способна поддерживать целостность мира в течение минуты.

У модели есть понимание физики разных объектов, например волн от воды, отражений, гравитации. Также умеет генерировать NPC.

Как и в первой версии Genie AI, можно создавать мир по референсу.

Слева референс, созданный с помощью Imagen 3 AI, справа — генерация фрагмента игры по референсу:

В этой части рассмотрены возможности использования нейросетей для создания отдельных частей контента: моделей и анимаций. Не буду останавливаться на генерации звуков и статичных изображений, так как они существуют уже довольно давно.

Рассмотрен эксперимент по созданию игрового контента от Рафала Обребски [7]. Он работал в CD PROJEKT RED, где в том числе отвечал за разработку ИИ и неигровых персонажей.

В своём первом эксперименте Рафал использовал нейросеть Meshy AI, которая способна создавать 3D модели по референсу или текстовому запросу [8]. Также он сравнил, насколько улучшились генерации в Meshy AI за десять месяцев.

Слева в начале 2024, справа в конце 2024.

Для создания анимации Рафал попробовал воспользоваться нейросетями Deepmotion AI [9] и CMS AI [10], но результаты его не впечатлили.

Слева анимации от Deepmotion AI, справа — CMS AI.

Во втором эксперименте [11] Рафал рассмотрел Ludus AI [12], которая работает напрямую в Unreal Engine 5.

Для начала он создал модель робота с помощью Meshy AI, после чего попросил Ludus AI сделать окружение, которое стилистически соответствовало бы роботу.