Pense em um curso típico de física da faculdade: anotações rápidas, dificuldades com a lição de casa, estudo para provas difíceis. Agora imagine ter acesso a um tutor que responde perguntas a qualquer hora, nunca se cansa e nunca julga. Você pode aprender mais? Talvez até o dobro?

Essa é a conclusão inesperada de um  estudo de Harvard  que examinou os resultados de aprendizagem para alunos em um  curso de física grande e popular  que trabalharam com um chatbot de inteligência artificial personalizado no outono passado. Quando comparado com um ambiente de sala de aula de "aprendizagem ativa" mais típico, no qual os alunos aprendem como um grupo de um instrutor humano, a versão com suporte de IA provou ser surpreendentemente mais eficaz.

O estudo foi liderado pelo palestrante  Gregory Kestin  e pela palestrante sênior  Kelly Miller , que analisaram os resultados de aprendizagem de 194 alunos matriculados no último outono no  curso de Ciências Físicas 2 de Kestin  , que é física para alunos de ciências biológicas. Os resultados finais estão pendentes de publicação. Antes do estudo, a equipe utilizou sua experiência em ensino e conteúdo para elaborar instruções para o tutor de IA seguir em cada lição para que ele se comportasse como um instrutor experiente. 

“Entramos no estudo extremamente curiosos sobre se nosso tutor de IA poderia ser tão eficaz quanto os instrutores presenciais”, disse Kestin, que também atua como diretor associado de educação científica. “E eu certamente não esperava que os alunos achassem a aula com tecnologia de IA mais envolvente.” 

Mas foi exatamente isso que aconteceu: o tutor de IA não apenas pareceu ajudar os alunos a aprender mais material, como os alunos também relataram significativamente mais engajamento e motivação para aprender ao trabalhar com IA. 

“Foi chocante e super emocionante”, disse Miller, considerando que o PS2 já é “muito, muito bem ensinado”. 

“Eles vêm fazendo isso há muito tempo, e houve muitas iterações dessa pedagogia específica baseada em pesquisa. É uma operação muito rigorosa”, Miller acrescentou. 

O experimento mostra a vantagem de usar a tutoria de IA como a primeira introdução substancial dos alunos a um material desafiador, escreveram os pesquisadores em seu artigo. Se a IA puder ser usada para ensinar efetivamente material introdutório aos alunos fora da sala de aula, isso permitiria que “tempo de aula precioso” fosse gasto desenvolvendo “habilidades de ordem superior, como resolução avançada de problemas, aprendizagem baseada em projetos e trabalho em grupo”, eles continuaram.

Embora entusiasmados com o potencial da IA de revolucionar a educação, Kestin e Miller estão cientes de possíveis usos indevidos.

“Embora a IA tenha o potencial de turbinar o aprendizado, ela também pode minar o aprendizado se não tomarmos cuidado”, disse Kestin. “Os tutores de IA não devem 'pensar' pelos alunos, mas sim ajudá-los a desenvolver habilidades de pensamento crítico. Os tutores de IA não devem substituir a instrução presencial, mas ajudar todos os alunos a se prepararem melhor para ela — e possivelmente de uma forma mais envolvente do que nunca.”

O estudo aprovado pelo Institutional Review Board ocorreu no outono de 2023. Quase 200 alunos consentiram em se inscrever no estudo, que envolveu dois grupos, cada um dos quais experimentou duas aulas em semanas consecutivas. Durante a primeira semana, o Grupo 1 participou de uma aula de aprendizagem ativa em sala de aula guiada por instrutor, enquanto o Grupo 2 se envolveu com uma aula com suporte de IA em casa que seguiu um design paralelo e informado por pesquisa; as condições foram revertidas na semana seguinte. 

Os autores do estudo compararam os ganhos de aprendizagem de cada tipo de aula usando pré-testes e pós-testes para medir o domínio do conteúdo. Eles também perguntaram aos alunos o quão engajados eles se sentiam com cada tipo de instrução, o quanto eles gostavam de cada tipo, o quão motivados eles estavam e como eles avaliariam sua "mentalidade de crescimento". 

Os ganhos de aprendizagem para os alunos no grupo com tutoria de IA foram cerca do dobro daqueles para os alunos no grupo em sala de aula, de acordo com a análise preliminar do estudo. Os pesquisadores acreditam que a capacidade dos alunos de obter feedback personalizado e ritmo próprio com o tutor de IA são vantagens em comparação com o aprendizado em sala de aula. 

Em vários ambientes de sala de aula, “os alunos que têm uma base muito forte no material podem estar menos engajados e, às vezes, ficam entediados”, disse Miller. “E os alunos que não têm a base, às vezes, têm dificuldade para acompanhar. Então, o fato de que este [tutor de IA] pode dar suporte a essa diferença é provavelmente a coisa mais importante.” Isso é especialmente valioso quando os alunos estão sendo apresentados pela primeira vez a conceitos e problemas em tópicos que apenas alguns alunos viram antes, disseram os pesquisadores. 

Miller enfatizou que o tutor de IA foi personalizado com engenharia de prompt baseada em pesquisa e “andaimes” para garantir que as aulas fossem precisas e bem estruturadas.

Kestin começou a criar o site que hospeda o tutor do PS2 no verão anterior, logo após o ChatGPT fazer sua estreia global. A  estrutura  é construída na interface de programação de aplicativos do GPT e é estruturada para que as conversas, incluindo a personalidade do tutor de IA e a qualidade do feedback, sejam pré-selecionadas. Então, em vez de adotar o comportamento padrão do ChatGPT, o tutor personalizado fornece aos usuários informações guiadas por prompts ricos em conteúdo que foram refinados e colocados na estrutura. 

Depois que a estrutura foi construída, foi fácil começar a personalizá-la para outros cursos e disciplinas, disse Kestin, e é por isso que vários colegas já estão testando-a. 

A instrutora de matemática  Eva Politou  apresentará uma versão do tutor de IA de Kestin para Matemática 21a (Cálculo Multivariável) neste outono na parte de workshop do curso, que normalmente é ensinada por assistentes de curso de graduação. Toda semana, os alunos poderão gerar perguntas sobre um tópico específico e buscar respostas com o tutor de IA atuando como um guia. 

“O objetivo principal do tutor de IA é promover um método de estudo baseado em investigação”, explicou Politou. “Queremos que os alunos pratiquem a geração de perguntas, a abordagem crítica de cenários da vida real e se tornem agentes ativos de sua própria compreensão e aprendizagem.”  

Inspirado pelos resultados de Kestin e Miller, o  Derek Bok Center for Teaching and Learning  está colaborando com  a Harvard University Information Technology  para pilotar chatbots de IA semelhantes em um punhado de grandes cursos introdutórios neste outono. Eles também estão desenvolvendo recursos para permitir que qualquer instrutor integre bots tutores em seus cursos.