Um novo artigo de pesquisa por cientistas da Meta e da Universidade de Oxford descreve uma técnica poderosa impulsionada por IA para gerar modelos 3D escaláveis. O VFusion3D aborda a escassez de dados 3D para treinamento de IA e geração de conteúdo. Assim, em vez de usar modelos 3D existentes, o VFusion3D é treinado em textos, imagens e vídeos.
Os pesquisadores afirmam que o VFusion3D “pode gerar um ativo 3D a partir de uma única imagem em segundos”, exibindo resultados de alta qualidade e fidelidade. Se esses modelos 3D escaláveis forem satisfatórios, eles podem economizar muito trabalho nas indústrias de jogos, VR e design.
A equipe de pesquisa liderada por Junlin Han, Filippos Kokkinos e Philip Torr explica o pipeline que projetaram para o VFusion3D, conforme o diagrama acima representa. O pipeline apresenta uma pequena quantidade de dados 3D, que é usada para ajustar um modelo de difusão de vídeo. Vídeos são ótimas fontes para este pipeline, pois muitas vezes mostram vários ângulos de um objeto, o que pode ser instrumental em reproduções 3D fiéis.
Os pesquisadores escolheram um modelo de vídeo chamado EMU Video, pois ele foi treinado com uma mistura de vídeos, incluindo tomadas panorâmicas de objetos e filmagens de drones. Como eles dizem, essas fontes de vídeo “contêm inerentemente pistas sobre o mundo 3D”. O resultado é o VFusion3D, que se afirma ser capaz de “gerar ativos 3D de alta qualidade a partir de uma única imagem” independentemente do ângulo de visualização. Um estudo com usuários confirma essas afirmações.
Além de testar seu novo modelo, os cientistas o compararam com modelos generativos 3D rivais baseados em destilação e feed-forward. Afinal, esta não é a primeira ferramenta que tem como alvo essa tarefa. Junlin Han, da Meta, destaca a qualidade comparativa e o desempenho do VFusion3D em uma página de projeto no GitHub. No mesmo lugar, você pode apreciar uma seleção de objetos animados do VFusion3D e seus rivais – comparados à imagem de origem (input). Várias comparações estão incluídas em nossa galeria.
Se os leitores estiverem interessados em testar o VFusion3D, uma demonstração online está disponível. Nela, você pode gerar e baixar um modelo 3D a partir de uma das imagens de exemplo ou até mesmo fazer o upload da sua própria fonte. No momento da escrita, essa demonstração não estava respondendo, pois estava “ocupada”.
Fonte: arXiv