Créditos: Freepik
Um estudo publicado na Nature Medicine indica que chatbots de inteligência artificial não são confiáveis para orientar decisões médicas do público. Os modelos testados não superaram nem buscas no Google e, em alguns casos, forneceram informações incorretas ou inconsistentes.
O experimento, considerado o primeiro randomizado do tipo, envolveu mais de 1.200 voluntários no Reino Unido que utilizaram sistemas comerciais, como os da OpenAI e da Meta. Os participantes acertaram a conduta correta em menos da metade das vezes e identificaram corretamente as doenças em apenas 34% dos casos.
Segundo Adam Mahdi, do Instituto de Internet de Oxford, a medicina real é complexa e incompleta, diferente das tarefas objetivas em que a IA costuma ter bom desempenho. O estudo também mostrou que pequenas mudanças na forma de perguntar geravam respostas muito diferentes.
Em cerca de metade dos erros, os próprios usuários omitiram sintomas relevantes. Quando os pesquisadores inseriram o quadro clínico completo, a taxa de acerto chegou a 94%. Especialistas ressaltam que médicos são treinados para identificar informações essenciais, algo que ainda falta aos sistemas. Para Andrew Bean, principal autor, os modelos deveriam fazer mais perguntas complementares, como em consultas médicas.
Os pesquisadores também observaram dificuldade em diferenciar casos urgentes de não urgentes e episódios de informações inventadas, como números de emergência inexistentes. A OpenAI afirmou que versões atuais são mais seguras e fazem mais perguntas; a Meta não comentou.
O estudo conclui que, apesar dos avanços, chatbots de IA ainda não substituem avaliação médica profissional e devem ser usados com cautela.
