Estudo aponta erros nos planos de tratamento para o câncer gerados pelo ChatGPT

A ascensão do ChatGPT pode ser inegável, mas um novo estudo sugere que sua utilidade pode estar comprometida em uma área crucial. Cientistas do Brigham and Women’s Hospital, instituição afiliada à Harvard Medical School em Boston, Massachusetts, conduziram uma pesquisa que aponta imprecisões nos planos de tratamento para o câncer gerados pelo rchatbot da OpenAI.

Conforme o estudo, publicado na revista JAMA Oncology e primeiramente divulgado pela Bloomberg, quando solicitado a elaborar planos de tratamento para diversos casos de câncer, aproximadamente um terço das respostas do modelo de linguagem continha informações errôneas.

O estudo ainda identificou que o chatbot tinha uma propensão a mesclar informações corretas e equivocadas de maneira a dificultar a distinção do que era fidedigno. Entre um total de 104 consultas analisadas, cerca de 98% das respostas do ChatGPT continham pelo menos uma recomendação de tratamento em conformidade com as diretrizes da National Comprehensive Cancer Network, conforme aponta o relatório.

Autores da pesquisa estão perplexos

Os autores da pesquisa ficaram surpreendidos pela magnitude com que informações incorretas eram amalgamadas a informações corretas, o que, segundo a coautora Dra. Danielle Bitterman, dificultou especialmente a detecção de erros – mesmo para profissionais especializados.

Ela acrescentou: “Grandes modelos de linguagem são programados para fornecer respostas aparentemente convincentes, porém não foram desenhados para prover aconselhamento médico preciso. A taxa de erro e a instabilidade das respostas representam questões críticas de segurança que demandam atenção no âmbito clínico.“

Embora o ChatGPT tenha conquistado destaque imediato desde seu lançamento em novembro de 2022, angariando 100 milhões de usuários ativos apenas dois meses após sua estreia, parece que os modelos de IA generativos ainda apresentam vulnerabilidades, como as “alucinações”, onde informações incorretas ou enganosas são apresentadas com confiança.

Um caso notório foi o rival do ChatGPT desenvolvido pela Google, o Bard, que fez com que o valor de mercado da empresa caísse em $120 bilhões quando ofereceu uma resposta errônea a uma pergunta relacionada ao telescópio espacial James Webb.

IA com saúde ainda precem de cuidados

Iniciativas para incorporar IA na área da saúde, primordialmente para otimizar tarefas administrativas, já estão em andamento. Recentemente, um amplo estudo concluiu que utilizar IA para triagem de câncer de mama é seguro e pode reduzir quase pela metade a carga de trabalho dos radiologistas.

Um cientista da computação da Harvard recentemente constatou que o GPT-4, a versão mais recente do modelo, seria capaz de passar no exame de licenciamento médico dos EUA com distinção, sugerindo que seu julgamento clínico supera o de alguns médicos.

Contudo, as questões de precisão associadas aos modelos generativos, como o ChatGPT, indicam que é pouco provável que estes substituam os médicos em um futuro próximo.

O estudo da JAMA verificou que 12,5% das respostas do ChatGPT eram “alucinações”, sendo que o chatbot mais frequentemente apresentava informações equivocadas quando questionado sobre tratamentos localizados para doenças avançadas ou imunoterapia.

A OpenAI reconhece a possibilidade de falta de confiabilidade do ChatGPT. Os termos de uso da empresa alertam que seus modelos não são destinados a fornecer informações médicas e não devem ser utilizados para “oferecer serviços de diagnóstico ou tratamento para condições médicas graves“.

Fonte: Bloomberg