Des chercheurs néerlandais ont mis au point une intelligence artificielle capable de reconstruire l’image vue par quelqu’un, en se basant uniquement sur son activité cérébrale.
au sommaire
L'un des avantages des recherches effectuées sur l'intelligence artificielle (IA) est qu'il est souvent possible de réitérer l'expérience en conservant les données mais en utilisant une nouvelle version de l'IA, et d'obtenir des résultats très différents. C'est ce que viennent de faire des chercheurs de l'université Radboud (Pays-Bas) qui ont utilisé une IA pour reconstruire des images vues par des sujets à partir de leur activité cérébrale. L'article est prépublié dans bioRxiv.
Les données d'origine proviennent de deux études. La première a utilisé l'imagerie par résonance magnétique fonctionnelleimagerie par résonance magnétique fonctionnelle (IRMf) pour enregistrer l'activité cérébrale de trois volontaires pendant qu'ils regardaient une série de photos. Dans la seconde, il s'agissait d'un macaque avec des électrodesélectrodes implantées dans le cerveaucerveau, une opération réalisée pour une autre étude. Cette fois, l'animal regardait des images générées par IA.
Les résultats pour le macaque qui a vu les images générées par IA (BG2) et les volontaires qui ont vu les photos (GOD). La première ligne montre les images vues par les sujets. La seconde ligne montre les images reconstruites par l’IA dans la nouvelle étude, grâce aux PAM. La troisième ligne correspond aux résultats des études initiales, avant l’intégration des PAM. © Université Radboud
Des mécanismes d’attention prédictifs
Dans cette nouvelle étude, les chercheurs ont intégré dans l'IA des mécanismes d'attention prédictifs (PAM). Les données d'activité cérébrale ont été transformées en vecteurs latentslatents et traités par un réseau antagoniste génératif. Les PAM ont permis à l'IA de cibler les signaux les plus pertinents pour tenter de reconstruire les images vues par les sujets.
Grâce à l'intégration des PAM, certaines images sont très ressemblantes aux originales. Les images reconstruites à partir de l'activité cérébrale du macaque étaient plus ressemblantes, et c'est en partie dû à la méthode d'enregistrement, l'IRMf produisant beaucoup plus de bruit que les électrodes. Toutefois, l'animal a vu des images générées par IA, plutôt que des photos. Ceci faciliterait la reconstruction, puisque l'IA peut comprendre comment ces images ont été assemblées. Le but ultime des chercheurs est de créer des implantsimplants pour restaurer la vue, en stimulant la partie du cerveau qui correspond aux objets.
