Um novo estudo liderado por investigadores do Mass General Brigham descobriu que o ChatGPT tinha cerca de 72% de precisão na tomada de decisões clínicas gerais, desde a apresentação de possíveis diagnósticos até a elaboração de diagnósticos finais e decisões de gerenciamento de cuidados.

O chatbot de inteligência artificial do modelo de linguagem grande (LLM) teve um desempenho igualmente bom tanto na atenção primária quanto em ambientes de emergência em todas as especialidades médicas. Os resultados da equipe de pesquisa são publicados no Journal of Medical Internet Research .

"Nosso artigo avalia de forma abrangente o suporte à decisão via ChatGPT desde o início do trabalho com um paciente, passando por todo o cenário de atendimento, desde o diagnóstico diferencial até o teste, diagnóstico e tratamento", disse o autor correspondente Marc Succi, MD, presidente associado do líder em inovação e comercialização e inovação estratégica na Mass General Brigham e diretor executivo da MESH Incubator.

"Não existem referências reais, mas estimamos que esse desempenho esteja no nível de alguém que acabou de se formar na faculdade de medicina, como um estagiário ou residente. Isso nos diz que os LLMs em geral têm o potencial de ser uma ferramenta de aumento para o prática da medicina e apoiar a tomada de decisão clínica com precisão impressionante."

As mudanças na tecnologia de inteligência artificial estão ocorrendo em ritmo acelerado e transformando muitos setores, incluindo os de saúde . Mas a capacidade dos LLMs para auxiliar em todo o âmbito dos cuidados clínicos ainda não foi estudada.

Neste estudo abrangente e multiespecializado de como os LLMs poderiam ser usados ??no aconselhamento clínico e na tomada de decisões, Succi e sua equipe testaram a hipótese de que o ChatGPT seria capaz de trabalhar durante todo um encontro clínico com um paciente e recomendar uma avaliação diagnóstica, decidir o curso de manejo clínico e, finalmente, fazer o diagnóstico final.

O estudo foi feito colando porções sucessivas de 36 vinhetas clínicas padronizadas e publicadas no ChatGPT. A ferramenta primeiro foi solicitada a apresentar um conjunto de diagnósticos possíveis ou diferenciais com base nas informações iniciais do paciente, que incluíam idade, sexo, sintomas e se o caso era uma emergência.

O ChatGPT recebeu informações adicionais e foi solicitado a tomar decisões de gerenciamento, bem como fornecer um diagnóstico final - simulando todo o processo de atendimento a um paciente real.

A equipe comparou a precisão do ChatGPT no diagnóstico diferencial, teste de diagnóstico, diagnóstico final e gerenciamento em um processo cego estruturado, concedendo pontos para respostas corretas e usando regressões lineares para avaliar a relação entre o desempenho do ChatGPT e as informações demográficas da vinheta.

Os pesquisadores descobriram que, no geral, o ChatGPT tinha cerca de 72% de precisão e que era o melhor para fazer um diagnóstico final, onde tinha 77% de precisão. Foi o desempenho mais baixo em fazer diagnósticos diferenciais, onde foi apenas 60% preciso. Foi apenas 68% preciso nas decisões de gerenciamento clínico, como descobrir com quais medicamentos tratar o paciente após chegar ao diagnóstico correto .

Outras descobertas notáveis ??do estudo incluíram que as respostas do ChatGPT não mostraram viés de gênero e que seu desempenho geral foi estável nos cuidados primários e de emergência.

"ChatGPT lutou com diagnóstico diferencial , que é a carne com batatas da medicina quando um médico tem que descobrir o que fazer", disse Succi. "Isso é importante porque nos diz onde os médicos são realmente especialistas e agregam mais valor - nos estágios iniciais do atendimento ao paciente com poucas informações de apresentação, quando é necessária uma lista de possíveis diagnósticos".

Os autores observam que, antes que ferramentas como o ChatGPT possam ser consideradas para integração ao atendimento clínico, são necessárias mais pesquisas de referência e orientações regulatórias. Em seguida, a equipe de Succi está analisando se as ferramentas de IA podem melhorar o atendimento e os resultados dos pacientes em áreas com recursos limitados dos hospitais.

O surgimento de ferramentas de inteligência artificial na saúde foi inovador e tem o potencial de remodelar positivamente o cuidado contínuo. O Mass General Brigham, como um dos principais sistemas de saúde acadêmicos integrados e maiores empresas de inovação do país, está liderando o caminho na condução de pesquisas rigorosas sobre tecnologias novas e emergentes para informar a incorporação responsável da IA ??na prestação de cuidados, suporte à força de trabalho e processos administrativos.

"O Mass General Brigham vê uma grande promessa para os LLMs para ajudar a melhorar a prestação de cuidados e a experiência clínica", disse o coautor Adam Landman, MD, MS, MIS, MHS, diretor de informações e vice-presidente sênior de digital do Mass General Brigham.

"No momento, estamos avaliando soluções LLM que auxiliam na documentação clínica e esboçam respostas às mensagens dos pacientes com foco na compreensão de sua precisão, confiabilidade, segurança e equidade. Estudos rigorosos como este são necessários antes de integrarmos as ferramentas LLM aos cuidados clínicos."