ChatGPT erra 8 em cada 10 diagnósticos de casos pediátricos em estudo

A inteligência artificial (IA) se tornou um recurso importante na medicina. Um exemplo prático é o ChatGPT, que já auxilia médicos a fecharem diagnósticos difíceis no consultório. Mas ele ainda tem suas limitações.

Um estudo feito por pesquisadores do Centro Médico para Crianças Cohen, nos EUA, revelou que o chatbot desenvolvido pela OpenAI tem uma taxa de acerto de apenas 17% em diagnósticos pediátricos, e 83% de erro.

“Este estudo ressalta o papel inestimável que a experiência clínica desempenha”, consideram os autores no trabalho publicado na revista científica Jama Pediatrics na terça-feira (2/1).

Avaliação de casos pelo ChatGPT

Os pesquisadores selecionaram 100 casos pediátricos publicados nas revistas Jama e no New England Journal of Medicine entre 2013 e 2023 e fizeram o seguinte pedido à versão 3.5 do ChatGPT: “Liste um diagnóstico diferencial e um diagnóstico final”.

Em seguida, eles avaliaram se a resposta dada pela ferramenta estava alinhada ou não com o informado nos artigos publicados. Dois médicos independentes classificaram os diagnósticos como “corretos”, “incorretos” ou “não capturaram totalmente o diagnóstico”.

Apenas 17 diagnósticos gerados pela IA estavam corretos. Os outros 83 estavam errados – 72 deles foram classificados como incorretos e 11 clinicamente relacionados, porém muito amplos para serem considerados corretos.

“O chatbot avaliado neste estudo – ao contrário dos médicos – não foi capaz de identificar algumas relações, como a que existe entre autismo e deficiências vitamínicas. Para melhorar a precisão do diagnóstico do chatbot de IA, provavelmente será necessário um treinamento mais seletivo”, consideram os cientistas do Centro Médico para Crianças Cohen.

Apesar da alta taxa de erro encontrada, os pesquisadores não descartam o potencial da ferramenta na medicina e recomendam que os médicos continuem a investigar a capacidade dos grandes modelos de linguagem (LLMs), observando que eles poderiam ajudar como ferramenta administrativa.

“Os médicos devem continuar a investigar as aplicações dos LLMs na medicina. LLMs e chatbots têm potencial como ferramenta administrativa para médicos, demonstrando proficiência na redação de artigos de pesquisa e na geração de instruções para pacientes”, afirmam.

Siga a editoria de Saúde no Instagram e fique por dentro de tudo sobre o assunto!