De acordo com uma pesquisa Gallup de 2022, os professores norte-americanos do jardim ao 12º ano são os trabalhadores mais esgotados em qualquer profissão. As ferramentas de processamento de linguagem natural (PNL) poderiam apoiá-los?

Embora os chatbots de hoje estejam ajudando os professores a aumentar sua eficiência em tarefas como gerar rapidamente planos de aula ou escrever e-mails para os pais, dois acadêmicos de Stanford estão estudando opções que poderiam ir além de economizar alguns minutos do dia de trabalho.

Dora Demszky, professora da Escola de Pós-Graduação em Educação de Stanford e Ph.D. em ciência da computação. a aluna Rose Wang está criando modelos que fornecem aos professores o tipo raro de feedback e sugestões que os ajudarão a causar o máximo impacto no aprendizado e no bem-estar do aluno na sala de aula.

Demszky e Wang enfatizam que cada ferramenta que eles projetam mantém os professores informados – nunca as substituindo por um modelo de IA. Isto porque mesmo com as rápidas melhorias nos sistemas de PNL, eles acreditam que a importância do relacionamento humano na educação nunca mudará.

“Um aspecto tão fundamental da aprendizagem é a ligação humana entre o aluno e o professor, e a motivação para aprender é desencadeada por essa relação. Não é realmente possível construir isso com um robô”, disse Demszky. “Nunca deveríamos ignorar o professor, mas pensar em maneiras pelas quais poderíamos aumentar o trabalho do professor”.

Construir tecnologia em sala de aula requer amplo conhecimento prévio de pedagogia e técnicas de aprendizagem dos alunos que apenas professores experientes adquiriram.

Como resultado, Demszky e Wang iniciam cada um de seus projetos educacionais em PNL com a mesma abordagem. Eles sempre começam com os próprios professores, trazendo-os para uma rica colaboração. Eles entrevistam educadores sobre quais ferramentas seriam mais úteis para eles em primeiro lugar e depois os acompanham continuamente para pedir feedback enquanto projetam e testam suas ideias. “Não poderíamos fazer a nossa investigação sem consultar os professores e os seus conhecimentos”, disse Demszky.

Às vezes, o feedback dos professores levava a pesquisa a uma nova direção. Para um projeto pré-impresso publicado no arXiv , que desenvolve um grande modelo de linguagem (LLM) para orientar alunos de matemática passo a passo em um formato online baseado em bate-papo, os estudiosos originalmente presumiram que os professores de matemática primeiro escolhessem uma estratégia para ajudar o aluno a entender.

Mas depois de entrevistar professores de matemática, eles aprenderam que o primeiro passo de um professor é tentar identificar exatamente de onde vem o equívoco do aluno. “Nunca teríamos conseguido chegar a esse detalhe se não tivéssemos conseguido conversar com professores que pudessem compartilhar suas próprias experiências de ensino de matemática”, disse Wang. "O diabo está realmente nos detalhes."

Quando pediram aos alunos que avaliassem o feedback gerado pelos LLMs e professores, os professores de matemática sempre receberam notas mais altas. No entanto, quando solicitaram novamente o LLM com a ajuda dos professores – que identificaram o tipo de erro do aluno e ofereceram uma estratégia específica a utilizar – as respostas do LLM foram avaliadas com uma classificação muito mais elevada. Embora ainda não sejam considerados tão valiosos como professores, os LLMs tiveram uma classificação mais elevada do que um tutor leigo.

"Isso indica que há muita promessa no uso desses modelos em combinação com algumas contribuições de especialistas, e apenas informações mínimas são necessárias para criar instrução escalável e de alta qualidade", disse Demszky.

Em um artigo pré-impresso adicional publicado em 23 de junho, eles estudaram matemática em nível universitário usando cursos online do canal OpenCourseWare no YouTube do MIT. Nestes projetos, eles examinaram se os LLMs poderiam fornecer feedback aos instrutores online sobre quando eles perdem alunos durante uma palestra, com base na análise dos comentários dos alunos online durante a discussão.

Aqui, eles criaram o SIGHT, um grande conjunto de dados de transcrições de palestras com comentários de alunos vinculados, e treinaram um LLM para categorizar os comentários em categorias como confusão, esclarecimento e gratidão. Além disso, eles estão trabalhando no desenvolvimento e publicação de uma estrutura chamada Backtracing, que é uma tarefa que faz com que os LLMs recuperem o texto específico que causou mais confusão no comentário de um aluno.

“Estamos tentando incentivar esses criadores de palestras online a revisarem seu conteúdo de uma maneira muito mais direcionada”, disse Wang.

Outra direção promissora em que Demszky e Wang têm trabalhado é um sistema de PNL que poderia atuar como auxiliar do professor para observar uma aula presencial e oferecer sugestões para melhorias. Demszky vê esta opção quase como um “treinador sem julgamento” que poderia adaptar as suas sugestões enquanto os professores ainda são novos na profissão e depois continuar a fornecer aconselhamento aprofundado mesmo quando esses professores se tornam mais experientes.

Em um artigo publicado em junho no Workshop sobre Uso Inovador de PNL para Construção de Aplicativos Educacionais da ACL, a equipe testou o ChatGPT como uma possível ferramenta de coaching. Eles descobriram que 82% das sugestões do modelo eram ideias que os professores já estavam fazendo, mas a ferramenta melhorou com sugestões mais personalizadas.

Em um novo artigo postado no arXiv , que será apresentado na Conferência sobre Métodos Empíricos em Processamento de Linguagem Natural em dezembro, eles treinaram um modelo de linguagem de “mentalidade construtiva”. A mentalidade construtiva é a ideia de que as habilidades de um aluno podem crescer com o tempo e não são fixas, um conceito que a pesquisa mostra que pode melhorar os resultados dos alunos.

Quando levaram o GPT-4 a reformular os comentários de um professor para a linguagem da mentalidade construtiva, 174 alunos e 1.006 alunos classificaram as reformulações do modelo como sendo 24% a 85% melhores (dependendo da tarefa) do que os professores no uso da linguagem da mentalidade construtiva.

Por exemplo, um professor respondeu à pergunta de um aluno sobre frações dizendo: "Apague o que você tem, por favor. Tudo. E quero que você olhe de novo, ok? Tudo. Tudo. Tudo." O LLM recomendou esta linguagem: "Obrigado por compartilhar suas ideias; é ótimo que você esteja participando ativamente! Vamos apagar a fração e trabalhar juntos para entender como localizar frações na reta numérica. Vamos descobrir isso como um equipe e continuar melhorando."

Demszky e Wang estão atualmente trabalhando com David Yeager, da Universidade do Texas, em Austin, que oferece treinamentos anuais para professores sobre estratégias de mentalidade construtiva. Eles pretendem desenvolver uma ferramenta de treinamento de professores LLM que Yeager e outros poderão implantar em breve como parte desses workshops.

Até agora, Demszky e Wang se concentraram na construção e avaliação de sistemas de PNL para ajudar em um aspecto de ensino de cada vez. Mas os dois imaginam um futuro onde muitas ferramentas de PNL serão usadas juntas em uma plataforma integrada, evitando a “fadiga tecnológica” com muitas ferramentas bombardeando os professores ao mesmo tempo.

Mas Demszky e Wang temem que este futuro possa agravar a desigualdade nas escolas. “O que vejo neste momento, pelo menos, é que os ricos ficam mais ricos”, disse Demszky. Ela teme que as crianças em ambientes mais privilegiados possam ter acesso a um ensino de alta qualidade e a apoio ao ensino de IA, enquanto as crianças em ambientes desfavorecidos possam eventualmente ter acesso à IA sem um ensino de alta qualidade.

Wang acrescenta que será igualmente importante para os pesquisadores de IA garantir que seu foco esteja sempre priorizando as ferramentas que têm as melhores chances de apoiar professores e alunos.

“Não se trata de pensar como podemos aumentar o teto da tecnologia educacional, mas como podemos aumentar o piso da educação com essas ferramentas?” Wang disse.