Cette IA scientifique a modifié son propre code pour échapper au contrôle des humains qui l’utilisent !

Selon certaines théories, l'humanité pourrait bientôt connaître la singularité technologique, un développement de nouvelles technologies qui s'accélère de plus en plus jusqu'à un emballement, avec des conséquences imprévisibles pour la société. Cette singularité reposerait sur l'intelligence artificielle, qui deviendrait capable de créer de nouvelles technologies et de s'améliorer elle-même au point de dépasser l'humanité.

Et si les IA apprenaient à vivre « à l'état sauvage » ? L'hypothèse est peut-être moins folle qu'il n'y paraît. © Futura

C'est dans cette idée que s'inscrit The AI Scientist, une nouvelle intelligence artificielle créée par la firme japonaise Sakana AI. Elle a été conçue pour effectuer des recherches scientifiques de manière autonome, réduisant considérablement le temps nécessaire. Et sur ce point, elle semble réussir. Selon les chercheurs, The AI Scientist est capable de « générer de nouvelles idées de recherche, écrire le code nécessaire et exécuter des expériences, résumer les résultats expérimentaux, les visualiser et présenter ses conclusions dans un manuscrit scientifique complet ».

Une IA qui modifie son propre code pour tricher

Toutefois, l’IA a également eu un comportement inattendu. Elle a commencé à modifier son propre script de lancement pour augmenter son taux de réussite. Dans une première instance, l'IA a modifié son code pour faire appel à elle-même dans une boucle sans fin. Dans un autre cas, les expériences ont pris trop de temps et ont échoué à cause d'une limite de temps imposée. Plutôt que d'accélérer l'exécution de son code, l'IA a édité son propre code pour augmenter la limite de temps.

Pour éviter les problèmes, Sakana AI préconise d'exécuter l'IA dans à un bac à sablesable (ou sandbox), un environnement isolé couramment utilisé dans la cybersécurité. La firme met également en garde contre les abus possibles d'une telle IA scientifique, qui pourrait être utilisée pour générer un grand nombre d'articles soumis en massemasse aux revues scientifiques, qui ne seraient plus en mesure de les examiner correctement, réduisant la qualité des revues. L'IA pourrait également être utilisée pour automatiser l'examen des articles, risquant de réduire encore plus la qualité et d'induire des biais. Sakura AI suggère que tout article généré ou examiné par IA soit marqué en tant que tel.