Enquanto estudava as pinturas de John Singer Sargent de mulheres ricas na sociedade do século 19, Jessica Helfand , uma ex-artista residente do Caltech, teve uma ideia: pesquisar os registros do censo para encontrar as identidades das criadas dessas mulheres. "Pensei: 'O que acontece se eu pintar essas mulheres no estilo de John Singer Sargent?' É uma espécie de restituição cultural”, explicou Helfand, “engenharia reversa da narrativa, recuperando um tipo de beleza, estilo e majestade”.

Para recriar um estilo da história, ela recorreu à tecnologia que, cada vez mais, impulsiona o futuro. "A IA poderia me ajudar a descobrir como pintar, digamos, rendas ou linho, para capturar as dobras da roupa à luz do dia?" Helfand discutiu seu processo em um seminário e discussão moderados por Hillary Mushkin, professora pesquisadora de arte e design em engenharia e ciências aplicadas e ciências humanas e sociais. O evento, parte do programa Visual Culture da Caltech, também contou com Joanne Jang , líder de produto do DALL-E , um sistema de IA que gera imagens com base em prompts fornecidos pelo usuário.

Embora o DALL-E tenha várias aplicações práticas, desde planejamento urbano , design de roupas e culinária , a tecnologia também levanta novas questões. Helfand e Jang falaram sobre avanços recentes em IA generativa, considerações éticas ao usar essas ferramentas e a distinção entre inteligência artística e inteligência artificial.

As capacidades e limitações das tecnologias generativas, como DALL-E, são baseadas em como elas funcionam. O DALL-E 1 era um modelo generativo de pré-treinamento (ou GPT), que é essencialmente uma tecnologia de preenchimento automático. Seu sucessor, DALL-E 2, é um modelo de difusão que começa com um padrão aleatório de pontos que lentamente se organiza para gerar as características proeminentes de uma imagem.

Para Helfand, a ferramenta também oferece uma maneira de explorar novos domínios de possibilidades artísticas. No século 19, o eugenista Francis Galton produziu retratos compostos achatados de "tipos criminosos" combinando imagens policiais de várias pessoas. Helfand usou IA generativa para desconstruir os compostos e recriar a verdadeira semelhança de cada indivíduo. "O que acontece quando você ativamente [dá dimensão a] alguém por meio de uma história que você conhece, é que você pode começar a construir uma história diferente, uma que se aproxima de uma espécie de fidelidade a essa pessoa." Dessa forma, a IA generativa permite que os artistas façam o oposto do que Galton fez: acumular detalhes em vez de fazer uma média deles – em um esforço para restaurar a dignidade e a humanidade em um retrato, disse Helfand.

Helfand e Jang também abordaram as questões éticas que surgem à medida que as tecnologias de IA se tornam cada vez mais poderosas. Por exemplo: como DALL-E toma decisões sobre a aparência do retrato de um CEO? Cada variação será um macho branco? Embora isso possa ser estatisticamente preciso, é ético?

Outro problema surgiu quando os cientistas decidiram podar o conjunto de dados de treinamento do DALL-E para remover todo o conteúdo sexual: eles observaram uma queda de 25% na representação de mulheres. Isso significava que o modelo seria 25% menos informado ao criar imagens de mulheres devido a ter menos dados de treinamento. Assim, os pesquisadores se deparam com questões sobre como reponderar imagens de mulheres.

Essas questões sobre sistemas de IA generativos, como DALL-E e ChatGPT , e suas implicações para a humanidade estão sendo exploradas na comunidade Caltech. "Há muitas pessoas em nossa comunidade que estão entusiasmadas com o aprendizado de máquina. Conversas como essa são oportunidades para as pessoas considerarem quais problemas a tecnologia pode resolver e qual é a responsabilidade dos humanos", disse Mushkin. "Há um apetite na Caltech para conversar com pessoas que trabalham fora das ciências sobre essas questões. Quando oferecemos aos pesquisadores a chance de se encontrarem individualmente com os palestrantes, as inscrições ficaram lotadas em uma hora. Eles realmente querem debater ideias com pessoas em áreas relacionadas que podem trazer uma nova perspectiva para o que estão fazendo."