Cientistas do Google Research publicaram seu artigo sobre GameNGen, um motor de jogo baseado em IA que gera jogabilidade original de Doom em uma rede neural. Usando a Stable Diffusion, os cientistas Dani Valevski, Yaniv Leviathan, Moab Arar e Shlomi Fruchter projetaram o GameNGen para processar seus quadros anteriores e a entrada atual do jogador para gerar novos quadros no mundo com surpreendente fidelidade visual e coesão.
Gerar um motor de jogo completo com lógica consistente é uma conquista única. O Doom do GameNGen pode ser jogado como um videogame real, com viradas e movimentação lateral, disparo de armas e danos precisos de inimigos e perigos ambientais. Um nível real é construído ao seu redor em tempo real enquanto você o explora. Ele até mantém uma contagem de munição da pistola quase precisa. Segundo o estudo, o jogo roda a 20 FPS e é difícil de distinguir em curtos clipes da jogabilidade real de Doom.
Para obter todos os dados de treinamento necessários para que o GameNGen modele com precisão seus próprios níveis de Doom, a equipe do Google treinou sua IA agente para jogar Doom em todas as dificuldades e simular uma gama de níveis de habilidade de jogadores. Ações como coletar power-ups e completar níveis foram recompensadas. Ao mesmo tempo, danos ou morte do jogador foram punidos, criando agentes que podiam jogar Doom e fornecendo centenas de horas de dados visuais de treinamento para o modelo do GameNGen referenciar e recriar.
Uma inovação significativa no estudo é como os cientistas mantiveram a coesão entre os quadros enquanto usavam a Stable Diffusion por longos períodos. A Stable Diffusion é um modelo de IA generativa ubíquo que gera imagens a partir de prompts de imagem ou texto e tem sido usado para projetos animados desde seu lançamento em 2022.
As duas maiores fraquezas da Stable Diffusion para animação são sua falta de coesão de quadro a quadro e sua regressão eventual na fidelidade visual ao longo do tempo. Como visto no curta-metragem Anime Rock Paper Scissors do Corridor, a Stable Diffusion pode criar imagens estáticas convincentes, mas sofre de efeitos de cintilação à medida que o modelo gera quadros consecutivos (observe como as sombras parecem saltar por todo o rosto dos atores de quadro a quadro).
A cintilação pode ser resolvida alimentando a Stable Diffusion com sua saída e treinando-a usando a imagem que criou para garantir que os quadros combinem entre si. No entanto, após várias centenas de quadros, a geração de imagens se torna cada vez menos precisa, semelhante ao efeito de fotocopiar uma fotocópia muitas vezes.
O Google Research resolveu esse problema treinando novos quadros com uma sequência mais longa de entradas do usuário e quadros que os precederam — em vez de apenas uma única imagem de prompt — e corrompendo esses quadros de contexto usando ruído gaussiano. Agora, uma rede neural separada, mas conectada, corrige seus quadros de contexto, garantindo uma imagem constantemente autocorretiva e altos níveis de estabilidade visual que permanecem por longos períodos.
(Crédito da imagem: Dani Valevski, et al)
Os exemplos de GameNGen vistos até agora são, admitidamente, menos que perfeitos. Blobs e borrões surgem na tela em momentos aleatórios. Inimigos mortos se tornam montes borrados após a morte. Doomguy no HUD está constantemente levantando as sobrancelhas como se fosse The Rock no Monday Night Raw. E, claro, os níveis gerados são inconsistentes na melhor das hipóteses; o vídeo do YouTube embutido acima termina em um poço de veneno onde Doomguy de repente para de sofrer danos a 4% e muda completamente seu layout após girar 360 graus dentro dele.
Embora o resultado não seja um videogame vencível, o GameNGen produz um simulacro impressionante do Doom que amamos. Em algum lugar entre demos técnicas e experimentos de pensamento sobre o futuro da IA, o GameNGen do Google se tornará uma parte crucial do desenvolvimento de jogos de IA no futuro, se o campo continuar. Combinado com a pesquisa do Caltech sobre usar Minecraft para ensinar modelos de IA a gerar mapas consistentes, motores de jogos assados em IA podem estar chegando a um computador perto de você mais cedo do que pensávamos.
