“Quando pensamos em políticas que podem melhorar a vida das pessoas, especialmente na última década, existe este paradigma de que se vê o que funciona através da realização de ensaios aleatórios”, diz Jann Spiess , professor de operações, informação e tecnologia na Stanford Graduate School of Afiliado empresarial e docente do Golub Capital Social Impact Lab .

Faz sentido: existe melhor maneira de determinar se uma política ajuda as pessoas do que observá-la em ação? No entanto, esta abordagem exige muitos recursos, observa Spiess. Os ensaios são difíceis de organizar e executar. E apesar destes custos, o poder explicativo dos resultados pode ser limitado, uma vez que normalmente se concentram nos efeitos médios numa população, obscurecendo os impactos nos indivíduos.

Entre na inteligência artificial – especificamente, usando IA para analisar grandes conjuntos de dados e gerar previsões ou categorizações inesperadas. Os algoritmos de aprendizagem automática revelaram-se especialmente bons a aprofundar os dados recolhidos no terreno e a descobrir novos detalhes não só sobre como as intervenções funcionam, mas também para quem. “O aprendizado de máquina nos dá a oportunidade de personalizar essencialmente os tratamentos”, diz Spiess.

Em um trabalho recente com dois colegas do GSB – a professora de economia Susan Athey , que dirige o Golub Capital Social Impact Lab, e o ex-bolsista de pós-doutorado Niall Keleheropen in new window – Spiess combinou um algoritmo de aprendizado de máquina com dados experimentais para estudar como fazer com que mais estudantes universitários se candidatassem a programas financeiros, ajuda. (Spiess e Athey também são bolseiros do Stanford Institute for Economic Policy Researchopen in new window ). O que encontraram não só confundiu as expectativas neste caso específico, como também confirmou o poder potencial da aplicação desta abordagem híbrida à investigação de forma mais ampla.

Os investigadores fizeram parceria com a ideas42open in new window, uma organização sem fins lucrativos que realizou experiências de campo para ver se pequenos “empurrões” comportamentais poderiam encorajar os estudantes da Universidade da Cidade de Nova Iorque (CUNY) a candidatarem-se a ajuda financeira federal. Nestas experiências, os lembretes enviados por texto ou e-mail resultaram num aumento de 6 pontos percentuais nas candidaturas em 2017 e num aumento de 12 pontos percentuais em 2018.

No entanto, estes foram resultados médios. Para desenvolver um retrato mais matizado de quem respondeu às cutucadas, Spiess, Athey e Keleher treinaram um algoritmo de aprendizado de máquina nos resultados de campo. Eles descobriram que as mensagens de texto e e-mail eram mais eficazes para os alunos que já estavam inclinados a solicitar ajuda financeira. Os alunos que provavelmente não se inscreveriam não se comoveram com esses lembretes gentis. Esta visão mais específica poderia ajudar os administradores escolares e os decisores políticos a evitar tentativas dispendiosas de atingir pessoas que provavelmente não responderiam.

“Ao abordarmos isso, podemos ter esperado que os incentivos funcionassem especialmente bem para alunos que provavelmente não se inscreveriam. E com base nos resultados geralmente promissores da experiência, teríamos priorizado esse grupo”, diz Spiess. “Se tivéssemos feito isso, estaríamos perseguindo exatamente as pessoas erradas.”

Ao mesmo tempo, a aprendizagem automática por si só não seria suficientemente instrutiva. Como explica Spiess, um modelo poderia prever quais as pessoas com maior ou menor probabilidade de solicitar ajuda financeira. No entanto, isto não demonstraria se os textos ou e-mails realmente ajudam algum destes grupos. Ao combinar o algoritmo e o experimento, os pesquisadores conseguiram encontrar a força do efeito do tratamento em populações distintas.

Em última análise, os investigadores concluíram que a política mais eficaz é direcionar incentivos para o meio do grupo – estudantes que não são nem mais nem menos propensos a voltar a candidatar-se a ajuda financeira. Em ambos os extremos deste espectro, o poder do empurrão enfraquece, especialmente para aqueles que têm menos probabilidades de solicitar ajuda.

Nos últimos 15 anos, Athey e seu laboratório têm trabalhado neste método de sintetizar resultados experimentais e aprendizado de máquina. O que produziram promete melhorar tanto o processo de experimentação como os seus resultados.

Uma das críticas centrais às experiências é que podem carecer de “validade externa” – as suas descobertas podem não se aplicar num contexto diferente. Se uma experiência for conduzida na Índia, os seus resultados serão válidos no Quênia, ou há algo distinto no cenário ou nos sujeitos que explica as descobertas? As políticas voltadas para estudantes universitários na cidade de Nova York são transferíveis para seus pares na Califórnia?

Também aqui a aprendizagem automática pode ajudar a colmatar as lacunas. “Existem muitas diferenças entre as geografias”, diz Athey. “Se estas são diferenças macro, algo sistêmico, então este método não pode ajudar. Mas se houver microdiferenças, como uma distribuição diferente de renda ou idade, então podemos usar o algoritmo para adaptar as estimativas do efeito do tratamento a uma população específica.”

Em outras palavras, se o algoritmo de aprendizado de máquina for treinado em resultados experimentais e encontrar efeitos variados em diferenças facilmente mensuráveis, como gênero ou, no caso de estudantes da CUNY, uma inclinação para solicitar ajuda financeira, então esses resultados provavelmente poderão ser mapeados para outros lugares, mesmo que a população pareça diferente. O modelo de aprendizagem automática, em essência, pode ajudar a mitigar preocupações de validade externa, ajustando os resultados de uma população a outra população distinta.

Esta abordagem híbrida tem o potencial de tornar a experimentação menos dispendiosa, apoiando uma iteração mais rápida. À medida que um experimento está em andamento, o aprendizado de máquina pode discernir o que funciona e sugerir maneiras de ajustar as intervenções em tempo real para obter o máximo impacto.

Para os decisores políticos, este processo adaptável e direccionado proporciona a capacidade de ir além das abordagens genéricas que são muitas vezes dispendiosas e marginalmente eficazes. (Embora Athey observe que este é um método com “fome de dados”: amostras maiores são necessárias para resultados mais granulares.)

O método, diz Spiess, também ilumina pontos cegos – como as pessoas que são deixadas para trás por certas intervenções. No caso dos estudantes universitários de Nova Iorque, o estudo revelou que simples lembretes não funcionam para aqueles que correm maior risco de perder a sua ajuda financeira. Este é precisamente o grupo que os decisores políticos poderão querer atingir.

E embora seja fácil imaginar como esta tecnologia pode impulsionar soluções digitais – melhores lembretes por e-mail, por exemplo – Athey está mais entusiasmado em usá-la para melhorar as interações entre as pessoas.

“Muito trabalho envolve humanos ajudando outros humanos, mas é realmente difícil para o ajudante, o treinador, ter memorizado todos os detalhes e reunido todo o conhecimento necessário para dar conselhos ou tratamentos personalizados”, diz ela. A abordagem demonstrada aqui poderia apoiar uma atenção mais personalizada. “Esse é o melhor dos dois mundos. Se o computador estiver apoiando o treinador, o professor ou o ajudante, eles poderão ter todas as informações necessárias para oferecer as melhores opções.”