IA na saúde deve ser regulamentada, mas não se esqueça dos algoritmos, dizem pesquisadores
Em um comentário recente, uma equipe do MIT, Equality AI e Universidade de Boston destaca as lacunas na regulamentação de modelos de IA e algoritmos não-IA na área da saúde.

Créditos: Imagem: Adobe Stock
Pode-se argumentar que um dos deveres primários de um médico é avaliar e reavaliar constantemente as probabilidades: Quais são as chances de sucesso de um procedimento médico? O paciente corre risco de desenvolver sintomas graves? Quando o paciente deve retornar para mais testes? Em meio a essas deliberações críticas, o surgimento da inteligência artificial promete reduzir o risco em ambientes clínicos e ajudar os médicos a priorizar o atendimento de pacientes de alto risco.
Apesar do seu potencial, pesquisadores do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) do MIT, da Equality AI e da Universidade de Boston estão pedindo mais supervisão da IA por parte dos órgãos reguladores em um novo comentário publicado na edição de outubro do New England Journal of Medicine AI (NEJM AI), depois que o Escritório de Direitos Civis dos EUA (OCR) no Departamento de Saúde e Serviços Humanos (HHS) emitiu uma nova regra sob o Affordable Care Act (ACA).
Em maio, o OCR publicou uma regra final no ACA que proíbe a discriminação com base em raça, cor, nacionalidade, idade, deficiência ou sexo em “ferramentas de suporte à decisão de atendimento ao paciente”, um termo recém-estabelecido que abrange tanto IA quanto ferramentas não automatizadas usadas na medicina.
Desenvolvida em resposta à Ordem Executiva do Presidente Joe Biden sobre Desenvolvimento e Uso Seguro, Confiável e Confiável de Inteligência Artificial de 2023, a regra final se baseia no compromisso do governo Biden-Harris de promover a equidade em saúde com foco na prevenção da discriminação.
De acordo com o autor sênior e professor associado da EECS Marzyeh Ghassemi, “a regra é um importante passo à frente”. Ghassemi, que é afiliado à Clínica Abdul Latif Jameel do MIT para Aprendizado de Máquina em Saúde (Clínica Jameel), ao Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e ao Instituto de Engenharia Médica e Ciência (IMES), acrescenta que a regra “deve ditar melhorias orientadas à equidade para os algoritmos não-IA e ferramentas de suporte à decisão clínica já em uso em subespecialidades clínicas”.
O número de dispositivos habilitados para IA aprovados pela Food and Drug Administration dos EUA aumentou drasticamente na última década desde a aprovação do primeiro dispositivo habilitado para IA em 1995 (PAPNET Testing System, uma ferramenta para triagem cervical). Em outubro de , o FDA aprovou quase 1.000 dispositivos habilitados para IA, muitos dos quais são projetados para dar suporte à tomada de decisões clínicas.
No entanto, os pesquisadores ressaltam que não há nenhum órgão regulador supervisionando as pontuações de risco clínico produzidas por ferramentas de suporte à decisão clínica, apesar do fato de que a maioria dos médicos dos EUA (65%) usa essas ferramentas mensalmente para determinar as próximas etapas do atendimento ao paciente.
Para resolver essa deficiência, a Clínica Jameel sediará outra conferência regulatória em março de 2025. A conferência do ano passado deu início a uma série de discussões e debates entre professores, reguladores do mundo todo e especialistas do setor focados na regulamentação da IA na saúde.
“As pontuações de risco clínico são menos opacas do que os algoritmos de 'IA', pois geralmente envolvem apenas um punhado de variáveis vinculadas em um modelo simples”, comenta Isaac Kohane, presidente do Departamento de Informática Biomédica da Harvard Medical School e editor-chefe do NEJM AI . “No entanto, mesmo essas pontuações são tão boas quanto os conjuntos de dados usados para 'treiná-las' e como as variáveis que os especialistas escolheram selecionar ou estudar em uma coorte específica. Se elas afetam a tomada de decisão clínica, devem ser mantidas nos mesmos padrões de seus parentes de IA mais recentes e muito mais complexos.”
Além disso, embora muitas ferramentas de suporte à decisão não utilizem IA, os pesquisadores observam que essas ferramentas são igualmente culpadas por perpetuar preconceitos na assistência médica e exigem supervisão.
“Regular as pontuações de risco clínico apresenta desafios significativos devido à proliferação de ferramentas de suporte à decisão clínica incorporadas em registros médicos eletrônicos e seu uso generalizado na prática clínica”, diz a coautora Maia Hightower, CEO da Equality AI. “Tal regulamentação continua sendo necessária para garantir transparência e não discriminação.”
No entanto, Hightower acrescenta que, sob a nova administração, a regulamentação das pontuações de risco clínico pode ser “particularmente desafiadora, dada sua ênfase na desregulamentação e oposição ao Affordable Care Act e certas políticas de não discriminação”