Quando as apostas são altas, os modelos de aprendizagem de ma¡quina a s vezes são usados para ajudar os tomadores de decisão humanos. Por exemplo, um modelo poderia prever quais candidatos da faculdade de direito são mais propensos a passar no exame da ordem para ajudar um oficial de admissão a determinar quais alunos devem ser aceitos.

Esses modelos geralmente tem milhões de parametros, então como eles fazem previsaµes équase impossí­vel para os pesquisadores entenderem completamente, muito menos um oficial de admissão sem experiência de aprendizagem de ma¡quina. Os pesquisadores a s vezes empregam manãtodos de explicação que imitam um modelo maior, criando aproximações simples de suas previsaµes. Essas aproximações, que são muito mais fa¡ceis de entender, ajudam os usuários a determinar se confiam nas previsaµes do modelo.

Mas esses manãtodos de explicação são justos? Se um manãtodo de explicação fornece melhores aproximações para os homens do que para as mulheres, ou para os brancos do que para os negros, pode encorajar os usuários a confiar nas previsaµes do modelo para algumas pessoas, mas não para outras.

Os pesquisadores do MIT analisaram com a imparcialidade de alguns manãtodos de explicação amplamente utilizados. Eles descobriram que a qualidade de aproximação dessas explicações pode variar drasticamente entre subgrupos e que a qualidade émuitas vezes significativamente menor para subgrupos minorita¡rios.

Na prática , isso significa que, se a qualidade de aproximação for menor para as candidatas do sexo feminino, háuma incompatibilidade entre as explicações e as previsaµes do modelo que poderia levar o oficial de admissão a rejeitar erroneamente mais mulheres do que homens.

Uma vez que os pesquisadores do MIT viram como essas lacunas de justia§a são difundidas, eles tentaram várias técnicas para nivelar o campo de jogo. Eles foram capazes de encolher algumas lacunas, mas não puderam erradica¡-las.

"O que isso significa no mundo real éque as pessoas podem confiar incorretamente em previsaµes mais para alguns subgrupos do que para outros. Por isso, melhorar os modelos de explicação éimportante, mas comunicar os detalhes desses modelos aos usuários finais éigualmente importante. Essas lacunas existem, então os usuários podem querer ajustar suas expectativas quanto ao que estãorecebendo quando usam essas explicações", diz a autora principal Aparna Balagopalan, estudante de pós-graduação do grupo ML Sauda¡vel do Laborata³rio de Ciência da Computação e Inteligaªncia Artificial (CSAIL).

Balagopalan escreveu o artigo com os estudantes de pós-graduação da CSAIL Haoran Zhang e Kimia Hamidieh; CSAIL pa³s-doutor Thomas Hartvigsen; Frank Rudzicz, professor associado de ciência da computação na Universidade de Toronto; e autora saªnior Marzyeh Ghassemi, professora assistente e chefe do Grupo ML Sauda¡vel. A pesquisa seráapresentada na Conferência ACM sobre Equidade, Prestação de Contas e Transparaªncia.

Modelos de explicação simplificados podem aproximar previsaµes de um modelo de aprendizagem de ma¡quina mais complexo de uma maneira que os humanos possam entender. Um modelo de explicação eficaz maximiza uma propriedade conhecida como fidelidade, que mede o quanto bem corresponde a s previsaµes do modelo maior.

Em vez de focar na fidelidade média para o modelo geral de explicação, os pesquisadores do MIT estudaram a fidelidade para subgrupos de pessoas no conjunto de dados do modelo. Em um conjunto de dados com homens e mulheres, a fidelidade deve ser muito semelhante para cada grupo, e ambos os grupos devem ter fidelidade próxima a  do modelo geral de explicação.

"Quando vocêestãoapenas olhando para a fidelidade média em todas as insta¢ncias, vocêpode estar perdendo artefatos que poderiam existir no modelo de explicação", diz Balagopalan.

Eles desenvolveram duas manãtricas para medir lacunas de fidelidade, ou disparidades na fidelidade entre subgrupos. Uma delas éa diferença entre a fidelidade média em todo o modelo de explicação e a fidelidade para o subgrupo de pior desempenho. O segundo calcula a diferença absoluta de fidelidade entre todos os pares possa­veis de subgrupos e, em seguida, calcula a média.

Com essas manãtricas, eles procuraram por lacunas de fidelidade usando dois tipos de modelos de explicação que foram treinados em quatro conjuntos de dados do mundo real para situações de alto risco, como prever se um paciente morre na UTI, se um ranãu se ofende ou se um candidato da faculdade de direito passara¡ no exame da ordem. Cada conjunto de dados continha atributos protegidos, como o sexo e a raça de pessoas individuais. Atributos protegidos são recursos que podem não ser usados para decisaµes, muitas vezes devido a leis ou políticas organizacionais. A definição para estes pode variar de acordo com a tarefa especa­fica para cada configuração de decisão.

Os pesquisadores encontraram claras lacunas de fidelidade para todos os conjuntos de dados e modelos de explicação. A fidelidade para grupos desfavorecidos era muitas vezes muito menor, até21% em alguns casos. O conjunto de dados da faculdade de direito tinha uma diferença de fidelidade de 7% entre subgrupos de raça, o que significa que as aproximações para alguns subgrupos estavam erradas 7% mais frequentemente, em média. Se houver 10.000 candidatos desses subgrupos no conjunto de dados, por exemplo, uma parcela significativa pode ser indevidamente rejeitada, explica Balagopalan.

"Fiquei surpreso com a pervasiva dessas lacunas de fidelidade em todos os conjuntos de dados que avaliamos. a‰ difa­cil enfatizar demais como as explicações comumente são usadas como uma "correção" para modelos de aprendizado de ma¡quina de caixa preta. Neste artigo, estamos mostrando que os manãtodos de explicação em si são aproximações imperfeitas que podem ser piores para alguns subgrupos", diz Ghassemi.

Depois de identificar lacunas de fidelidade, os pesquisadores tentaram algumas abordagens de aprendizado de ma¡quina para corrigi-las. Eles treinaram os modelos de explicação para identificar regiaµes de um conjunto de dados que poderiam ser propensas a  baixa fidelidade e, em seguida, focar mais nessas amostras. Eles também tentaram usar conjuntos de dados equilibrados com um número igual de amostras de todos os subgrupos.

Essas estratanãgias robustas de treinamento reduziram algumas lacunas de fidelidade, mas não as eliminaram.

Os pesquisadores então modificaram os modelos de explicação para explorar por que as lacunas de fidelidade ocorrem em primeiro lugar. Sua análise revelou que um modelo de explicação poderia usar indiretamente informações de grupo protegidos, como sexo ou raça, que poderia aprender com o conjunto de dados, mesmo que os ra³tulos do grupo estejam escondidos.

Eles querem explorar esse enigma mais no futuro trabalho. Eles também planejam estudar melhor as implicações das lacunas de fidelidade no contexto da tomada de decisaµes do mundo real.

Balagopalan estãoentusiasmado ao ver que o trabalho simulta¢neo sobre a equidade de explicações de um laboratório independente chegou a conclusaµes semelhantes, destacando a importa¢ncia de entender bem esse problema.

Amedida que olha para a próxima fase desta pesquisa, ela tem algumas palavras de aviso para usuários de aprendizagem de ma¡quina.

"Escolha o modelo de explicação com cuidado. Mas, ainda mais importante, pense cuidadosamente sobre os objetivos de usar um modelo de explicação e quem ele eventualmente afeta", diz ela.

"Acho que este artigo éuma adição muito valiosa ao discurso sobre a equidade na ML", diz Krzysztof Gajos, professor de Ciência da Computação da Harvard John A. Paulson School of Engineering and Applied Sciences, que não estava envolvido com este trabalho. "O que achei particularmente interessante e impactante foi a evidência inicial de que as disparidades na fidelidade explicativo podem ter impactos mensura¡veis na qualidade das decisaµes tomadas pelas pessoas assistidas por modelos de machine learning. Embora a diferença estimada na qualidade da decisão possa parecer pequena (em torno de 1 ponto percentual), sabemos que os efeitos cumulativos de tais diferenças aparentemente pequenas podem mudar a vida."

Este trabalho foi financiado, em parte, pelo MIT-IBM Watson AI Lab, o Quanta Research Institute, um Canadian Institute for Advanced Research AI Chair e microsoft Research.