Embora muito tenha sido feito sobre a promessa da inteligência artificial de melhorar as oportunidades e resultados educacionais, um grupo de estudantes de Stanford está destacando a importância de uma perspectiva diferente sobre IA na educação: Não se trata apenas de usar IA para preencher lacunas na educação de nossos alunos. Trata-se também de como "educamos" a IA.

Em uma colaboração inédita entre o Stanford Center for Racial Justice (SCRJ) e a Clínica Internacional de Direitos Humanos e Resolução de Conflitos da Faculdade de Direito de Stanford, 10 estudantes tiveram recentemente a oportunidade de pesquisar e escrever um relatório sobre IA e educação para Ashwini KP, Relatora Especial das Nações Unidas sobre Formas Contemporâneas de Racismo, Discriminação Racial, Xenofobia e Intolerância Correlata.

"Uma das áreas em que eu queria me aprofundar especificamente enquanto estava na faculdade de direito era a intersecção entre inteligência artificial e justiça racial", diz a coautora do relatório Imani Nokuri, JD '25, "então esse era um projeto dos sonhos".

O projeto chegou à Faculdade de Direito de Stanford após discussões entre o Relator Especial e Gulika Reddy, diretora da Clínica Internacional de Direitos Humanos e Resolução de Conflitos, sobre como a clínica pode dar suporte ao mandato do Relator Especial.

"Apoiar o mandato da Ashwini KP estava alinhado com o trabalho da nossa clínica sobre igualdade e não discriminação e foi uma ótima oportunidade de aprendizado para nossos alunos", diz Reddy.

"A clínica consultou uma série de especialistas trabalhando na intersecção de IA e direitos humanos e decidiu focar em IA e educação. Dado esse foco, pensamos no Center for Racial Justice e no trabalho importante que eles fizeram nessa área, e pareceu o momento ideal para os alunos da clínica e do centro trabalharem juntos em um projeto."

Seis estudantes de clínica e quatro estudantes do SCRJ colaboraram ao longo de quatro semanas durante o trimestre da primavera de 2024, aprofundando-se nas promessas e armadilhas da inteligência artificial no âmbito dos programas de educação global, especificamente o potencial da IA para exacerbar as desigualdades e a discriminação existentes. Seu memorando final foi incorporado ao relatório temático mais amplo de Ashwini KP sobre IA publicado em junho de 2024. Após a conclusão do memorando, a equipe de pesquisa se reuniu com o relator especial pelo Zoom para apresentar suas descobertas e recomendações.

"Não é todo dia que você acorda e diz: 'Hoje vou apresentar minha pesquisa a um relator especial das Nações Unidas'", diz Maya King, JD '25, uma estudante da Clínica de Direitos Humanos que concentrou sua parte do projeto em uma análise comparativa de como diferentes países regulamentam a IA.

"Foi uma experiência fantástica ver nossos esforços passarem da fase de pesquisa para um memorando escrito e para a disseminação global para os membros das Nações Unidas em menos de três meses."

No campo da educação, a inteligência artificial é usada para aprimorar o ensino, personalizar experiências de aprendizagem e ajudar educadores a fazer previsões sobre o futuro de um aluno — como o risco de abandono do ensino médio, probabilidade de admissão na faculdade, oportunidades de carreira e outras variáveis. A IA nas escolas tem muitos benefícios, incluindo ajudar a acomodar melhor alunos com deficiências, explica Hoang Pham, diretor de Educação e Oportunidade na SCRJ, onde lidera pesquisas e iniciativas de políticas para abordar desigualdades raciais no sistema educacional dos EUA.

Mas há um outro lado.

Algoritmos de IA podem agravar disparidades raciais na educação por vários motivos, inclusive porque os dados históricos que os desenvolvedores inserem na tecnologia para "treiná-la" geralmente replicam preconceitos pré-existentes, diz Pham, que supervisionou o projeto da ONU com Reddy e Shaw Drake, advogado supervisor clínico.

"Isso ocorre porque fatores com resultados historicamente racialmente díspares, como frequência, comportamento, notas, renda e, às vezes, raça, são usados nos algoritmos para gerar previsões, que então refletem as disparidades raciais nos dados."

Em seu relatório, os alunos enfatizam a complexidade da questão e a necessidade de nuances e uma abordagem consciente para incorporar a IA na educação: "Nenhuma resposta única resolverá os dilemas que surgem nessa área", eles observam, "o que torna extremamente importante que as partes interessadas considerem as complexidades da IA ??na educação e explorem ainda mais estruturas que abordem sua natureza em rápida evolução — onde os problemas de discriminação racial de hoje podem não ser os de amanhã".

De acordo com Nokuri, um dos coautores estudantes do SCRJ, o relatório instou fortemente os desenvolvedores de IA e governos "a considerar o fator humano e o ponto de vista holístico". Entre as pesquisas citadas estava um artigo com foco na transparência de dados na educação, liderado por Hariharan Subramonyam, professor assistente na Stanford Graduate School of Education e membro do corpo docente do Stanford's Institute for Human-Centered Artificial Intelligence.

"Quando tudo o que você faz é confiar em dados e não busca a contribuição e o insight dos professores e alunos — as mesmas pessoas que a tecnologia supostamente deve ajudar — é quando você corre o risco de perpetuar erros do passado e essencialmente codificá-los no futuro", diz Nokuri. "Muitas das nossas recomendações se resumiram a incluir a contribuição das partes interessadas da comunidade à medida que desenvolvemos essa nova e poderosa tecnologia."

"Os alunos realmente conduziram esse trabalho com habilidade e velocidade excepcionais", diz Drake. "Cada aluno mergulhou fundo em sua pesquisa e produziu um documento excepcionalmente útil, tudo isso trabalhando juntos perfeitamente e em um curto espaço de tempo. É uma alegria ver seu trabalho duro ter tamanho impacto."

Além de recomendar que professores, alunos e grupos raciais e étnicos marginalizados sejam consultados ao desenvolver tecnologias de IA, o relatório dos alunos também pediu que os governos desenvolvessem programas de educação pública focados no uso responsável da IA e promovessem ferramentas de código aberto na educação para permitir que as comunidades tenham acesso igualitário à tecnologia de IA. Além disso, o relatório recomenda que os países continuem a pesquisar como as leis e regulamentações existentes podem se aplicar a resultados racialmente discriminatórios do uso da IA.

O relatório da ONU alimentará projetos futuros na clínica e no SCRJ. "Vamos construir a partir disso, fazer mais pesquisas e continuar a avançar a conversa sobre o que a IA na educação precisa ser para garantir que ajude a mitigar e não exacerbar as disparidades raciais que sabemos que existem na educação há muito tempo", diz Pham.

A Clínica também continuará seu trabalho na área de igualdade e não discriminação, o que incluiu trabalho realizado em parceria com comunidades impactadas e a sociedade civil na Jamaica, Uganda e Estados Unidos, bem como com o Relator Especial da ONU sobre execuções extrajudiciais, sumárias ou arbitrárias.