Algoritmos sustentam decisões grandes e pequenas em grande escala todos os dias: quem faz exames para doenças como diabetes, quem recebe um transplante de rim, como os recursos da polícia são alocados, quem vê anúncios de moradia ou emprego, como as taxas de reincidência são calculadas e assim por diante . Sob as circunstâncias certas, os algoritmos – procedimentos usados ??para resolver um problema ou realizar um cálculo – podem melhorar a eficiência e a equidade da tomada de decisão humana.

No entanto, os próprios padrões que foram projetados para tornar as decisões algorítmicas “justas” podem, na verdade, estar consolidando e exacerbando as disparidades, particularmente ao longo das linhas raciais, étnicas e de gênero. Esse é o objetivo de Designing Equitable Algorithms , um artigo publicado esta semana na Nature Computational Science pelo professor associado de Direito de Stanford , Julian Nyarko , diretor executivo do Laboratório de Política Computacional de Stanford, Alex Chohlas-Wood , e co-autores da Universidade de Harvard. 

Com a proliferação da tomada de decisão guiada por algoritmos em praticamente todos os aspectos da vida, há uma necessidade crescente de garantir que o uso de algoritmos na tomada de decisões importantes não leve a consequências negativas não intencionais, de acordo com os autores. 

“Um tomador de decisão pode definir critérios para o que considera um processo justo e aderir estritamente a esses critérios, mas, em muitos contextos, isso significa que eles acabam tomando decisões prejudiciais a grupos marginalizados”, disse Nyarko , que concentra grande parte de seus estudos em como os métodos computacionais podem ser usados ??para estudar questões de importância científica legal e social. 

Nyarko citou a triagem de diabetes como exemplo. “Algoritmos são usados ??como um primeiro filtro para determinar quem recebe mais testes. Sabemos que, dado um determinado IMC e idade, os pacientes que se identificam como asiáticos tendem a ter taxas de diabetes mais altas do que aqueles que não se identificam como asiáticos. Um algoritmo que tem acesso à raça de um paciente pode usar essas informações e ser mais brando em sua decisão de encaminhamento se o paciente se identificar como asiático. No entanto, se insistirmos na tomada de decisões cegas para a raça, dificultaremos o uso dessa informação pelo algoritmo e ajustaremos suas previsões para pacientes asiáticos. Em última análise, isso significa que o algoritmo de raça cega, embora possa ser 'justo' em um sentido técnico, exclui de testes adicionais alguns pacientes asiáticos com um risco comprovadamente alto de diabetes. Um trade-off semelhante entre o que poderíamos chamar de processo justo e resultados equitativos se aplicam aos critérios de justiça mais populares que são frequentemente usados ??na prática”.

Resultados como esses são bem conhecidos na literatura sobre tomada de decisão algorítmica, disse ele. No entanto, a imposição de critérios estritos de justiça continua popular entre pesquisadores e profissionais. “Acreditamos que esse fato destaca a necessidade de uma discussão robusta sobre por que aqueles que defendem o uso de restrições de justiça o fazem”, disse Nyarko. “Os critérios formais de justiça capturam com precisão as opiniões das pessoas sobre o que significa tomar uma decisão ética e, portanto, devem ser incorporados? A adesão a um processo de tomada de decisão 'justo' - por exemplo, um que não usa raça - é desejável por si só, ou é apenas uma heurística útil que geralmente leva a resultados mais equitativos? Somente se tivermos clareza sobre essas questões normativas e éticas, podemos esperar progredir na compreensão do que significa que as decisões algorítmicas sejam justas. Esperançosamente, isso também levará a uma maior homogeneidade nas abordagens”.

Nyarko enfatizou que numerosos estudos, especialmente no contexto médico, examinaram o impacto da imposição de restrições de justiça, como decisões neutras de raça ou gênero. O novo documento foi concebido para “fornecer uma estrutura unificadora para essas discussões”, disse ele. “Você vê muitos artigos individuais, espalhados por disciplinas, que abordam questões de justiça algorítmica, mas achamos que o debate precisa de estrutura e é isso que nos propusemos a realizar”, disse ele. “Acho que muitas dessas discussões individuais não foram bem conectadas a discussões éticas mais amplas sobre justiça.”

O artigo aborda cada uma das três restrições de justiça mais comuns, todas “intuitivamente atraentes”, mas que podem levar a resultados ruins para os indivíduos e para a sociedade como um todo, escrevem eles. As restrições de justiça são: (1) Cegueira, em que se limita os efeitos de atributos demográficos – como raça – nas decisões; (2) Equalizar as taxas de decisão entre os grupos demográficos (por exemplo, exigir que a proporção de pacientes encaminhados para mais testes de diabetes seja a mesma para pacientes asiáticos e não asiáticos); e (3) Equalização das taxas de erro entre grupos demográficos (por exemplo, exigindo que a proporção de pacientes que são erroneamente excluídos do teste, embora tenham diabetes (a chamada taxa de falsos negativos) seja a mesma para pacientes asiáticos e não asiáticos) .

O documento oferece várias recomendações para algoritmos de treinamento de pessoas para auxiliar na tomada de decisões, incluindo que eles entendam as armadilhas do “viés de rótulo”. 

“Existe uma crença amplamente difundida na literatura de aprendizado de máquina de que fornecer mais dados ao algoritmo não causa nenhum dano”, disse Nyarko. “Ou a informação é útil para fazer a previsão ou é descartada. Mas isso só é verdade se a coisa que treinamos o algoritmo para prever for a coisa com a qual realmente nos importamos. No entanto, verifica-se que esses dois divergem rotineiramente. No contexto da justiça criminal, por exemplo, um juiz que está tomando uma decisão de detenção pode querer saber qual a probabilidade de reincidência do réu. Isso ajudará o juiz a decidir se o réu deve permanecer na prisão ou pode ser libertado. Algoritmos auxiliam rotineiramente os juízes na tomada dessas decisões. No entanto, esses algoritmos nunca foram treinados para prever a probabilidade de reincidência. Afinal, se alguém comete um crime não é algo realmente observável em escala. Tudo o que sabemos, e tudo o que um algoritmo é treinado para prever, é se um réu provavelmente será preso novamente . Se alguém é preso novamente por um crime pode depender, em grande parte, se há muita presença policial na área onde ele mora. Esse tipo de viés de rótulo é muito comum e mostramos que ele tem implicações importantes sobre como os algoritmos devem ser treinados. Por exemplo, em nosso exemplo de previsão de risco de reincidência, mostramos que dar acesso ao CEP de um réu a algoritmos comumente usados ??melhora sua previsão de se um réu será preso novamente. No entanto, devido às disparidades no policiamento entre os bairros, dar acesso aos códigos postais torna os mesmos algoritmos piores para prever se o réu reincidirá. De maneira mais geral, nossas descobertas questionam a sabedoria comum de que adicionar mais dados não pode piorar nossas decisões algorítmicas”.

A Stanford Law School é uma das principais instituições do país em educação e bolsas jurídicas. Seus ex-alunos estão entre os tomadores de decisão mais influentes em direito, política, negócios e alta tecnologia. Os membros do corpo docente argumentam perante a Suprema Corte, testemunham perante o Congresso, produzem excelentes estudos jurídicos e análises empíricas e contribuem regularmente para a imprensa do país como especialistas jurídicos e políticos. A Stanford Law School estabeleceu um modelo de educação jurídica que oferece treinamento interdisciplinar rigoroso, experiência prática, perspectiva global e foco no serviço público, liderando um movimento de mudança.