Nos últimos anos, os desenvolvedores de videogames e cientistas da computação tem tentado desenvolver técnicas que possam tornar as experiências de jogo cada vez mais envolventes, envolventes e realistas. Isso inclui manãtodos para criar automaticamente personagens de videogame inspirados em pessoas reais.

A maioria dos manãtodos existentes para criar e personalizar personagens de videogame exige que os jogadores ajustem as caracteri­sticas do rosto de seu personagem manualmente, a fim de recriar seu pra³prio rosto ou os rostos de outras pessoas. Mais recentemente, alguns desenvolvedores tentaram desenvolver manãtodos que podem personalizar automaticamente o rosto de um personagem, analisando imagens de rostos de pessoas reais. No entanto, esses manãtodos nem sempre são eficazes e nem sempre reproduzem os rostos que analisam de maneiras realistas.

Pesquisadores do Netease Fuxi AI Lab e da University of Michigan criaram recentemente o MeIngame, uma técnica de aprendizado profundo que pode gerar automaticamente rostos de personagens ao analisar um aºnico retrato do rosto de uma pessoa. Esta técnica, apresentada em um artigo pré-publicado no arXiv, pode ser facilmente integrada a  maioria dos videogames 3D existentes.

"Propomos um manãtodo de criação automa¡tica de rosto de personagem que prevaª a forma e a textura facial de um aºnico retrato e pode ser integrado a  maioria dos jogos 3D existentes", Jiangke Lin, Yi Yuan e Zhengxia Zou, os três pesquisadores que realizaram o estudo, escreveu em seu jornal.

Alguns dos sistemas de personalização automa¡tica de personagens apresentados em trabalhos anteriores são baseados em técnicas computacionais conhecidas como modelos 3D de faces morfa¡veis ​​(3DMMs). Embora alguns desses manãtodos tenham reproduzido as caracteri­sticas faciais de uma pessoa com bons na­veis de precisão, a maneira como eles representam propriedades geomanãtricas e relações espaciais (ou seja, topologia) geralmente difere das malhas utilizadas na maioria dos videogames 3D.

Para que os 3DMMs reproduzam a textura do rosto de uma pessoa de maneira confia¡vel, eles normalmente precisam ser treinados em grandes conjuntos de dados de imagens e dados de textura relacionados. Compilar esses conjuntos de dados pode ser bastante demorado. Além disso, esses conjuntos de dados nem sempre contem imagens reais coletadas na natureza, o que pode impedir que modelos treinados neles tenham um desempenho consistente e bom quando apresentados com novos dados. Para superar essa limitação, Lin, Yuan e Zou treinaram sua técnica em um conjunto de dados de imagens capturadas na natureza.

"Dada uma foto de face de entrada, primeiro reconstrua­mos uma face 3D com base em um modelo 3D de face morfa¡vel (3DMM) e redes neurais convolucionais (CNNs) e , em seguida, transferimos a forma da face 3D para a malha do modelo", explicaram os pesquisadores em seu papel. "A rede proposta pega a foto da face e o mapa de textura UV grosseira desembrulhado como entrada, então prevaª coeficientes de iluminação e mapas de textura refinados."

Lin, Yuan e Zou avaliaram sua técnica de aprendizado profundo em uma sanãrie de experimentos, comparando a qualidade dos personagens do jogo que gerou com os rostos dos personagens produzidos por outros manãtodos de última geração existentes para personalização automa¡tica de personagens. Seu manãtodo funcionou muito bem, gerando rostos de personagens que se assemelhavam muito aos das imagens de entrada.

“O manãtodo proposto não apenas produz personagens de jogo detalhados e va­vidos semelhantes ao retrato de entrada, mas também pode eliminar a influaªncia da iluminação e das oclusaµes”, escreveram os pesquisadores em seu artigo. "Experimentos mostram que nosso manãtodo supera os manãtodos mais modernos usados ​​em jogos."

No futuro, o manãtodo de geração de rosto de personagem idealizado por esta equipe de pesquisadores podera¡ ser integrado a uma sanãrie de videogames 3D, permitindo a criação automa¡tica de personagens que se assemelham muito a pessoas reais. O ca³digo do modelo MeINGame e o conjunto de dados usado para treina¡-lo foram publicados online e podem ser acessados ​​por desenvolvedores de jogos em todo o mundo em: github.com/FuxiCV/ MeInGame.