Como muitas pessoas, Balázs Kovács passou a confiar nas avaliações do Yelp quando se trata de escolher um novo restaurante.

“Eu não olho para os números”, diz ele. “Eu leio para me conectar com a experiência. É mais pessoal se alguém escreve sobre sua experiência. Se eles reclamam por terem que esperar 45 minutos pela sopa, eu sei o que isso significa.”

Professor de comportamento organizacional na Yale SOM, cujos interesses de pesquisa incluem grandes modelos de linguagem e programas de IA generativa, como o ChatGPT da OpenAI, Kovács sabia que a IA generativa havia se tornado muito mais sofisticada nos últimos anos. O texto anterior gerado por IA parecia simplista e grosseiro, mas a versão mais recente do ChatGPT parecia quase humana. E se o texto da IA soasse humano, ele se perguntou, quão fácil seria criar avaliações falsas no Yelp?

Surpreendentemente fácil, descobriu-se. Em uma série de experimentos para um novo estudo, Kovács descobriu que um painel de testadores humanos não foi capaz de distinguir entre as avaliações escritas por humanos e aquelas escritas pelo GPT-4, o LLM que alimenta a última interação do ChatGPT. Na verdade, eles estavam mais confiantes na autenticidade das análises escritas por IA do que nas análises escritas por humanos.

A ideia de testar a capacidade da inteligência artificial, observando até que ponto um computador conseguia imitar um ser humano, remonta a 1950, quando Alan Turing propôs “o jogo da imitação” – agora conhecido como teste de Turing. Durante décadas, foi um teste em que os sistemas de IA sempre falharam. “No passado, era tão ruim que sempre podíamos perceber”, diz Kovács. “Não podemos mais dizer.”

Kovács começou seu estudo coletando uma variedade de análises de um conjunto de dados do Yelp, todas escritas em 2019, antes do lançamento da IA generativa. Ele os inseriu no GPT-4 e depois pediu ao programa que gerasse avaliações semelhantes dos mesmos restaurantes, com aproximadamente a mesma extensão e usando o mesmo estilo, com peculiaridades de estilo humano, como erros de digitação e letras maiúsculas para dar ênfase. Ele acabou com um conjunto de 100 avaliações falsas.

Em seguida, ele mostrou uma variedade aleatória dessas avaliações misturadas com uma seleção de 100 avaliações reais a um grupo de participantes pagos de um estudo de pesquisa e pediu-lhes que identificassem quais foram escritas por humanos e quais foram escritas por IA. Como incentivo, ele prometeu aos participantes um pagamento de bônus caso conseguissem classificar corretamente 16 das 20 avaliações. Dos 151 participantes, apenas 6 receberam o pagamento extra.

Na segunda fase do experimento, em vez de pedir aos participantes uma simples resposta sim ou não, ele pediu-lhes que colocassem suas respostas em uma escala de cinco pontos, de “provavelmente humano” a “mais provável IA”. No geral, eles foram capazes de identificar avaliações escritas por humanos na metade das vezes, aproximadamente o mesmo nível de sucesso de jogar uma moeda.

As respostas às análises escritas pela IA, porém, foram mais interessantes. Os participantes só conseguiram identificá-los corretamente cerca de um terço das vezes e, quando identificaram incorretamente uma avaliação como escrita por humanos, ficaram mais confiantes em suas respostas. Em outras palavras, o GPT-4 foi capaz de produzir avaliações de restaurantes que pareciam mais humanas do que trabalhos de humanos reais.

Os resultados desses experimentos foram mais ou menos o que Kovács esperava, mas ele ficou surpreso com o quão bem o GPT-4 aprendeu a escrever a linguagem humana. “Eu não esperava que fosse mais humano do que humano”, diz ele. (O termo técnico para isso é “hiperrealismo de IA”.)

Kovács observa rapidamente que um dispositivo de IA que executa uma tarefa humana melhor do que um humano nem sempre é uma coisa ruim. “No caso do carro autônomo”, diz ele, “muitas pessoas não são bons motoristas. Se uma IA dirige um carro perfeitamente e nunca comete erros, é isso que eu quero.”

Um influxo de avaliações de restaurantes escritas por IA não é necessariamente catastrófico. Não é preciso IA para escrever uma crítica sobre um restaurante onde você nunca esteve. E se as pessoas decidirem que não podem mais confiar nas avaliações de crowdsourcing, elas simplesmente voltarão a buscar recomendações da mesma forma que faziam na era pré-Yelp: perguntando a amigos ou confiando em críticos profissionais. Mas, diz Kovács, o estudo demonstra o potencial do conteúdo criado pela IA para causar estragos noutros domínios. “As pessoas precisam saber que é muito assustador. Posso fazer essas manipulações em uma tarde. Os profissionais podem fazer um trabalho ainda melhor do que eu. Se as pessoas não conseguirem mais saber o que foi escrito por uma IA ou por um ser humano, haverá mais notícias falsas do que antes.”

Em fevereiro, pouco antes das primárias de New Hampshire, foi divulgada uma chamada automática falsa do presidente Biden instando os eleitores a não irem às urnas; mais tarde foi demonstrado que a ligação era obra de um agente do candidato democrata rival Dean Phillips. E apenas algumas semanas depois de Kovács ter publicado o seu artigo, uma investigação numa escola secundária em Maryland mostrou que um funcionário tinha usado software de IA para fabricar uma gravação do que parecia ser o diretor da escola a fazer um discurso racista e antissemita. A gravação gerou pedidos de demissão do diretor. (Após o incidente de New Hampshire, a FCC esclareceu que falsificar uma voz em uma chamada automática é ilegal, mas ainda não existem leis em vigor para processar o autor do incidente de Maryland; o melhor que a aplicação da lei poderia fazer era acusá-lo de outros crimes , como perseguir e interromper atividades escolares.)

As avaliações falsas do Yelp são apenas a ponta do iceberg, diz Kovács. “Existem imagens falsas, filmes falsos”, diz ele. “As pessoas não saberão dizer. Haverá muitas consequências. Este é um ano eleitoral. Ninguém vai acreditar em nada.”