Une étude a révélé que le chatbot a fourni de fausses informations lorsqu’il lui a été demandé de concevoir des plans de traitement du cancer.
L’intelligence artificielle (IA) peut être utile dans le domaine de la cancérologie, mais ce n’est pas le cas de ChatGPT. Selon une étude publiée jeudi dans la revue JAMA Oncology, il vaut même mieux éviter de demander au célèbre chatbot des recommandations en termes de traitement de cette maladie. Menée par des chercheurs du Brigham and Women’s Hospital – hôpital de la faculté de médecine de l’université Harvard –, elle révèle que les plans de traitement du cancer générés par ChatGPT comportent plusieurs erreurs.
Un chatbot peu fiable pour les traitements du cancer
Plus précisément, lorsque les chercheurs lui ont demandé de générer des plans de traitement pour divers cas de cancer, un tiers de ses réponses contenaient des informations incorrectes. Le chatbot avait aussi tendance à associer des informations correctes et incorrectes, « ce qui rendait difficile la détection des erreurs – même pour les experts », a indiqué Danielle Bitterman, co-autrice de l’étude, à Insider.
De plus, 13 des 104 réponses de ChatGPT (12,5 %) étaient « hallucinées ». Autrement dit, elles ne faisaient partie d’aucun plan de traitement recommandé. Les chercheurs précisent que le robot conversationnel était plus susceptible d’inventer des informations lorsqu’il s’agissait de recommandations pour le traitement localisé d’une maladie avancée ou pour une immunothérapie. « Les grands modèles de langage sont formés pour fournir des réponses qui semblent très convaincantes, mais ils ne sont pas conçus pour fournir des conseils médicaux précis. Le taux d’erreur et l’instabilité des réponses sont des problèmes de sécurité critiques qui devront être résolus dans le domaine clinique », a déclaré Danielle Bitterman.
Reconnaissant que son robot conversationnel peut ne pas être fiable, OpenAI prévient d’ailleurs, dans ses conditions d’utilisation, que ses modèles ne sont pas conçus pour fournir des informations médicales et qu’ils ne doivent pas être utilisés pour « fournir des services de diagnostic ou de traitement pour des problèmes médicaux graves ».
Des technologies préjudiciables
De l’autre côté, 98 % (102) des réponses de ChatGPT comprenaient au moins une recommandation de traitement conforme aux directives du National Comprehensive Cancer Network, association de 33 centres de cancérologie de premier plan consacrés aux soins aux patients, à la recherche et à l’éducation.
Les chercheurs n’ont évalué qu’un seul robot conversationnel dans leur étude, mais ils estiment que « les résultats donnent un aperçu des domaines de préoccupation et des futurs besoins de recherche ». Bien que ces technologies ne soient pas des dispositifs médicaux, il est probable que les patients les utilisent dans leur autoéducation, « ce qui peut affecter la prise de décision partagée et la relation patient-clinicien », ont-ils averti. Raison pour laquelle ils considèrent que les patients et cliniciens doivent être conscients des limites de ces modèles de langage, mais aussi que les développeurs devraient avoir « une certaine responsabilité dans la distribution de technologies qui ne causent pas de préjudice ».
