Branca de Neve, Cinderela e Bela Adormecida têm mais em comum do que suas origens como figuras clássicas de contos de fadas e, agora, fazem parte do famoso elenco de personagens da Disney. Seus contos de fadas também estão cheios de preconceitos e estereótipos de gênero, de acordo com estudiosos da literatura – e agora da IA.

Uma equipe de pesquisadores da Northeastern University, University of California Los Angeles e IBM Research criaram uma estrutura de inteligência artificial que pode analisar livros de histórias infantis e detectar casos de preconceito de gênero . Sua pesquisa foi publicada no servidor de pré-impressão arXiv .

A maneira como os contos de fada retratam e ensinam lições, moral e papéis socioculturais para crianças, especialmente meninas, tem sido discutida na academia e além por décadas. Essas histórias estão cheias de princesas que precisam ser salvas e belos príncipes que estão lá para salvá-las.

A esperança é que a ferramenta de verificação ortográfica orientada por IA que sua equipe criou seja usada por escritores e editores, bem como por pesquisadores, para criar histórias mais inclusivas para crianças, diz Dakuo Wang, professor associado da Northeastern e um dos os pesquisadores do projeto.

"Se no futuro eu tiver uma menina, não quero que ela se sinta desanimada para assumir essas tarefas ou vencer esses desafios [ou] diga, alguém virá me salvar ou não deveria ser algo que eu faria como uma menina", diz Wang. "Se pudermos desenvolver uma tecnologia para detectar ou sinalizar automaticamente esses tipos de preconceitos e estereótipos de gênero, ela pode pelo menos servir como uma barreira ou rede de segurança não apenas para contos de fadas antigos, mas para as novas histórias que estão sendo escritas e criadas todos os dias hoje. "

Todo esse trabalho começou como parte da pesquisa contínua da equipe sobre como a IA pode ajudar a desenvolver habilidades de aprendizado de idiomas para crianças pequenas. A equipe já estava interessada em contos de fadas como ferramentas para o aprendizado de idiomas e coletou centenas de histórias de todo o mundo para usar como "corpus" para o algoritmo analisar.

Eles recrutaram um grupo de especialistas em educação – professores e acadêmicos – para vasculhar as histórias e criar uma lista de perguntas e respostas que ajudariam a provar se uma criança estava aprendendo com essas histórias. O resultado final foram 10.000 pares de perguntas e respostas - e a percepção de que todas essas histórias, não importa de onde vieram, continham estereótipos de gênero "teimosos e profundos".

A princesa come uma maçã envenenada, é presa, sequestrada ou amaldiçoada ou morre e não tem meios para mudar sua situação. Enquanto isso , personagens masculinos ––príncipes, reis e heróis––estavam matando dragões, quebrando as maldições e salvando a princesa.

Pesquisas anteriores nessa área focaram no que Wang chama de "nível superficial" de viés. Isso significava analisar histórias e identificar pares de palavras ou frases, como "príncipe" e "corajoso", que conectam ideias e identidades de maneiras específicas. Mas Wang e o resto da equipe queriam ir mais fundo.

Eles se concentraram em "cadeias de eventos narrativos temporais", a combinação específica e a ordem de eventos e ações que um personagem experimenta ou realiza.

“Na verdade, é a experiência e a ação que definem quem é essa pessoa, e essas ações influenciam nossos leitores sobre o que [eles] devem ou não fazer para imitar esse personagem fictício”, diz Wang.

Usando as centenas de histórias coletadas, a equipe criou processos automatizados para extrair nomes e gêneros de personagens junto com cada evento. Eles então alinharam esses eventos como uma cadeia para cada personagem. Eles também automatizaram um processo para agrupar eventos e ações por categorias específicas. Cada evento foi analisado e recebeu uma razão de chances, com que frequência estava conectado a um personagem masculino ou feminino .

Dos 33.577 eventos analisados ??no estudo, 69% foram atribuídos a personagens masculinos e 31% a personagens femininas. Os eventos associados às personagens femininas estavam frequentemente ligados a tarefas domésticas como arrumar, limpar, cozinhar e costurar, enquanto os dos personagens masculinos estavam ligados ao fracasso, sucesso ou agressão.

Com todas essas informações, Wang e a equipe criaram uma ferramenta de processamento de linguagem natural que poderia ir além da análise de eventos individuais para encontrar viés nas cadeias de eventos.

"Alguém está sendo salvo e depois se casando e vivendo feliz para sempre; alguns outros mataram o monstro, salvaram a princesa e viveram felizes para sempre", diz Wang. "Não é a parte 'viveram felizes para sempre' ou 'se casaram' que são diferentes. Na verdade, são os eventos que acontecem antes desses eventos em uma cadeia que fazem a diferença."

Ao automatizar esse processo, Wang diz que espera que a ferramenta encontre uso entre pessoas de fora da comunidade de pesquisa que estão realmente criando – ou recriando – essas histórias. No processo, eles podem começar a impedir que as histórias passem essas ideias desatualizadas e prejudiciais para a próxima geração.

"Com nossa ferramenta, eles podem simplesmente carregar seu primeiro rascunho em uma ferramenta como esta e ela deve gerar alguma pontuação ou medidor que indique: "Aqui estão as coisas que você pode ou não querer verificar. Se essa intenção não é o que você gostaria de expressar, talvez você deva pensar em reescrever. Aqui estão algumas sugestões'", diz Wang.

No futuro, Wang e a equipe planejam expandir seu trabalho para examinar outras formas de viés. Eles também usarão sua ferramenta para avaliar os vieses de outras IAs. Eles esperam usar seu algoritmo para analisar se o ChatGPT tem os mesmos preconceitos e estereótipos de gênero ao criar conteúdo baseado nessas histórias.

"Estamos propondo que esta é realmente uma tarefa, uma tarefa que a comunidade técnica pode realmente ajudar a conquistar", diz Wang. "Não estamos dizendo que nosso método é o melhor. Estamos apenas dizendo que nosso método é o primeiro a fazer essa tarefa, e essa tarefa é tão predominante. Talvez devêssemos mudar um pouco de nossa atenção para esses desafios e tarefas sociais existentes. "