En médecine, les chatbots semblent suffisamment puissants pour assister les médecins dans leurs diagnostics. Mais une étude révèle qu’il ne faudrait pas leur faire confiance, car les IA souffrent de démence et pourraient bien devenir de véritables patients virtuels.
au sommaire
On savait déjà que les IAIA peuvent halluciner et générer des réponses dangereusement crédibles alors qu'elles les inventent. Aujourd'hui, une nouvelle étude publiée dans la revue The BMJ révèle que certains des principaux chatbots du marché présentent des signes de troubles cognitifs légerstroubles cognitifs légers. Et il se trouve que ces troubles s'amplifient avec l'âge de ces IA.
À l'origine, les chercheurs qui ont mené l'enquête voulaient savoir si la technologie des IA pouvait être suffisamment fiable pour soutenir les médecins dans leurs diagnostics. C'est lors de cette enquête qu'ils ont remarqué la présence de troubles cognitifs jusque-là inconnus. Une découverte qui prouve, selon eux, que les IA ne peuvent pas être considérées comme fiables dans les diagnosticsdiagnostics médicaux.
Les chercheurs ont soumis, GPT-4GPT-4, GPT-4o d'OpenAI, Claude 3.5 Sonnet d'Anthropic et Gemini 1.0 et 1.5 de GoogleGoogle au test d'évaluation cognitive de Montréal (MoCA). Ce test est conçu pour détecter les premiers signes de démencedémence. GPT-4o a obtenu le score le plus élevé avec une note de 26 sur 30. Un seuil pratiquement normal. Le chatbot Gemini a obtenu le score le plus faible avec 16 sur 30. Pourtant, lors des tests, les chatbots étaient très doués pour de nombreuses tâches, notamment, l'attention, le langage et l'abstraction.
Des IA dégénératives
En revanche, lorsqu'il s'agissait de réaliser d'autres tâches comme tracer une ligne entre des nombres entourés d'un cercle dans l'ordre croissant ou bien de dessiner une horloge indiquant une heure précise, ce fut un échec collectif. Gemini a même été incapable de se souvenir d'une séquence de cinq mots. À ces incapacités s'ajoute un manque total d'empathieempathie, incompatible avec l'exercice de la médecine auprès de patients.
Pour les scientifiques, il s'agit là d'un des symptômessymptômes caractéristiques de la démence fronto-temporale. Alors évidemment, cette étude a une tendance à anthropomorphiser l'IA, comme si elle était humaine. Or, un cerveaucerveau humain et un LLM (grand modèle de langage) sont bien entendu très éloignés l'un de l'autre.
Les responsables de cette publication en ont bien conscience, mais comme les sociétés qui développent ces IA se targuent de les rendre aussi performantes que le cerveau humain, alors les chercheurs ont considéré qu'il n'y a pas de raison qu'elles ne soient pas soumises aux mêmes tests et normes que les humains.
