Em termos de pura capacidade digital, os cineastas têm hoje mais poder criativo do que nunca.

A captura de movimento possibilita usar os movimentos de Josh Brolin para animar de forma realista o vilão da Marvel, Thanos. Equipamentos de fotogrametria com dezenas a centenas de câmeras capturam atores de inúmeros ângulos e iluminações, criando modelos de computador em 3D de seus rostos que podem então produzir cenas que nunca foram capturadas na realidade. Esses “duplos digitais” permitem que os cineastas economizem dinheiro em dublês, interpretem atores em cenários extremos, criem sequências animadas que um ator nunca interpretou ou até mesmo reproduzam digitalmente atores que já faleceram.

“As pessoas pensam que isso é algo novo, mas essa tecnologia tem sido usada em efeitos visuais de filmes nos últimos cinco a dez anos. Praticamente qualquer filme de Hollywood hoje incorpora isso”, disse Gordon Wetzstein , professor associado de engenharia elétrica. “Para uma pessoa normal, é muito difícil dizer se algo é real ou uma cópia digital.”

Agora, tecnologias emergentes como a IA generativa estão a tornar os duplos digitais ainda mais poderosos e acessíveis, potencialmente perturbando a indústria cinematográfica e a sociedade em geral, ao mesmo tempo que oferecem novas ferramentas para aplicações como diagnósticos médicos, biomecânica e teleconferências 3D. Para saber mais, Stanford News conversou com Wetzstein, cuja pesquisa inclui a criação de semelhanças faciais digitais, e Karen Liu , professora de ciência da computação, que estuda a replicação digital do movimento físico humano.

Esta entrevista foi editada para maior extensão e clareza.

Wetzstein: Em vez de usar equipamentos de fotogrametria, meu grupo projeta IA generativa que aprende a criar pessoas digitais em 3D. Coletamos imagens aleatórias e de visualização única da Internet que estão disponíveis publicamente e as usamos para treinar modelos de IA para gerar rostos que parecem realistas, mas na verdade não existem. E então esses rostos podem ser editados e animados de diferentes perspectivas. Não estamos fazendo nada agora que não pudéssemos fazer antes com conhecimento suficiente e ferramentas caras, mas a IA generativa automatiza o processo.

Liu: Minha pesquisa se concentra na geração de movimentos. Isso inclui o sistema músculo-esquelético, que deve modelar corretamente o tipo de corpo de quem você está tentando imitar: uma pessoa com peso na parte superior se move de maneira diferente de uma pessoa com peso na parte inferior.

Também envolve modelar o processo de tomada de decisão de uma pessoa que mapeia a percepção em ação. Se eu quiser que um duplo digital imite seus movimentos, preciso saber como você reagiria a uma percepção específica – você fugiria, se afastaria ou se sentaria? Isso requer muitos dados para que, quando seu modelo estiver em uma situação nunca vista antes, ele faça a coisa certa.

Liu: À medida que os conjuntos de dados, modelos generativos e simuladores de física continuam a se expandir e melhorar, é possível treinar um gêmeo digital seu que prevê a maneira como você se move e as ações que você executaria com base na sua observação do mundo.

Wetzstein: O acesso a algumas destas tecnologias também se expandirá. Até agora, replicar a imagem de uma pessoa com fotogrametria tem sido exclusivo de ambientes de produção de alto custo. Mas isso já está mudando. A ascensão de ferramentas generativas de IA, como Midjourney e DALL·E 2, dá a qualquer pessoa a capacidade de criar as imagens que desejar. Em breve, isso também acontecerá com os vídeos e será indistinguível do conteúdo do filme.

Wetzstein: Essa é a questão, certo? Substituir extras em segundo plano parece ser a primeira aplicação para identidades geradas por IA. Qual é o valor do ator se você pode simplesmente criar um dublê digital e editá-lo da maneira que as pessoas quiserem? O ator possui os direitos autorais disso? E se o fizerem, se você editar o duplo digital, ainda será o ator ou será uma identidade diferente que não pertence a ninguém?

Não creio que a necessidade de bons atores algum dia será completamente substituída. E com o quadro jurídico adequado, isto também poderia beneficiar potencialmente os intervenientes. Se você tiver controle sobre seu duplo digital e vendê-lo para diferentes lugares, poderá gravar uma centena de filmes ao mesmo tempo, virtualmente.

Liu: Ainda não podemos criar cópias digitais perfeitas em grande escala. Você precisaria de muitos dados dos atores. Se eu tiver apenas dados sobre Benedict Cumberbatch andando, só poderei recriar o movimento da caminhada; Não posso recriá-lo falando como Sherlock Holmes. E quando se trata de movimento humano 3D, a aquisição de dados é realmente desafiadora. Você precisa de dispositivos especiais para fazer isso.

Então os filmes seriam difíceis porque os atores fazem muitos movimentos. Mas se eu quiser apenas um pequeno comercial de alguém caminhando em direção a uma cadeira, sentando-se e bebendo uma cerveja, isso poderia ser feito com uma quantidade bastante razoável de dados.

Wetzstein: Esses modelos podem pegar uma única imagem de uma pessoa e extrapolar como ela seria plausível de diferentes ângulos. Isso permite que você faça coisas como teleconferência 3D ou edição de fotos: quantas vezes você tirou uma foto com amigos ou familiares e alguém não está olhando para a câmera ou está com os olhos fechados? Você pode fazer pequenas edições como essa.

Liu: Estou interessado em duplas digitais principalmente por razões biomecânicas e médicas. Eles poderiam ser uma ferramenta de diagnóstico realmente boa: se pudermos modelar sua coluna com precisão e combiná-la com informações secundárias – se perguntarmos quando dói quando você anda, medirmos sua ativação muscular e outras coisas – então provavelmente poderemos resolver um problema inverso. para descobrir por que algo dói ou qual foi a causa de sua doença.

Liu: Se eu fosse Benedict Cumberbatch, não permitiria que as pessoas coletassem muitos dados sobre mim, digamos assim. Uma vez que alguém tenha dados suficientes, você nunca sabe que tipo de modelo ele poderia construir.

Wetzstein: As pessoas sempre ficam assustadas com as novas tecnologias. E tudo bem: com esses recursos emergentes, você pode fazer com que uma cópia digital faça qualquer coisa . Precisamos ter muito cuidado com isso porque tem o potencial de manchar reputações ou espalhar desinformação. É importante iniciar conversas com os legisladores sobre como garantir que estas ferramentas não caiam em mãos erradas. Não estamos num ponto em que possamos usá-los para mudar o cenário político do mundo, mas penso que não estamos muito longe.

Mas o que estamos vendo agora faz parte de uma progressão natural. Vinte anos atrás, quando o primeiro filme Toy Story foi lançado, a computação gráfica era rudimentar e agora alcançou o fotorrealismo. Há um grande clamor sobre isso? Não, porque está sendo usado de maneira principalmente responsável. Só precisamos ter certeza de que estamos cientes do que está acontecendo.