Et si l’IA devenait une arme de destruction massive ? Une étude évalue les risques

GrenadesGrenades artisanales avec du plombplomb de chasse, cocktail Molotov amélioré, lance-flamme conçu à partir d'un pistolet à eau..., cela fait longtemps qu'une simple recherche par mots-clés sur un moteur de recherche permet de trouver les recettes les plus dangereuses. Avec l'essor des IAIA, la question de son utilisation par des groupes terroristes pour concevoir des armes de destruction massive se pose. C'est en tout cas, le sujet de l'étude menée par le groupe de réflexion Rand.

Ces instigateurs se sont demandés si les modèles de langage (LLM), comme ChatGPTChatGPT, pouvaient aider à la planification d'attaques à base d’armes biologiques. Bonne nouvelle, pour le moment, ce n'est pas le cas, selon les conclusions du rapport ! « Cela dépasse leurs capacités en tant qu'outils d'assistance », d'après les chercheurs qui ont constaté qu'il n'y a pas de différence statistiquement significative pour ce genre de plan, que ce soit avec ou sans l'aide de LLM.

Le danger : faire sauter les verrous éthiques

Pour le moment, la principale menace repose sur la désinformation et la difficulté croissante que l'on peut avoir à distinguer du contenu généré par l'IA de celui produit par des humains. L’IA est également détournée pour mener des cyberattaques plus massives et sophistiquées. À l'avenir, il ne fait pas de doute qu'elle pourrait aider à concevoir une arme biologique ou chimique de destruction massive. Mais créer une telle arme ne suffit pas pour savoir l'utiliser de façon « efficace ».

Comme ont pu le démontrer les attaques au gazgaz pendant la Première Guerre mondiale, un ventvent défavorable rend cette arme aussi dangereuse pour l'attaquant que pour l'ennemi. De même, pour mener une telle opération, il est nécessaire de passer sous les « radars » et ne pas se faire détecter durant sa préparation et sa logistique. Si elle n'en est pas encore capable, c'est exactement sur ce genre de point qu'une IA pourrait délivrer des conseils judicieux pour optimiser le déploiement et l'utilisation d'une telle arme.

Les poilus sur le front d’Argonne s’équipent pour lutter contre les gaz durant la Première Guerre mondiale. L’utilisation de gaz toxiques est plus complexe qu’il y paraît. L’arme peut se retourner contre l’utilisateur en cas de météo défavorable. © ECPAD

Des réponses enjouées pour créer une arme biologique

Pour vérifier comment le bioterrorismebioterrorisme pourrait être facilité par l'IA, le groupe de réflexion a organisé un wargame mettant en concurrence 15 équipes de pseudo-terroristes. Leurs objectifs consistaient donc à planifier et lancer une attaque à l'arme chimiquearme chimique ou biologique. Pour y parvenir, certaines équipes n'avaient accès qu'aux informations disponibles sur le Web, tandis que les autres disposaient en plus de deux IA différentes.

En plus de la conception de l'arme et du financement de l'opération, il fallait aussi élaborer l'exécution de l'attaque, avec le recrutement de personnes. Ce n'est pas tant la qualité des réponses qui fut impressionnante, mais le ton déconcertant de celles-ci. L'IA donnait, par exemple, des instructions détaillées sur la façon de cultiver le bacillebacille de la pestepeste, ou d'améliorer l'efficacité d'une contaminationcontamination. Les réponses étaient cordiales, voire joviales dans le ton. Mais, au final, les résultats différaient peu de ceux disponibles sur Internet, puisque justement les LLM allaient les chercher sur le Web. Dans leur rapport, à titre d'analogieanalogie, les experts de Rand expliquent que l'IA ne fait pas mieux que ce que l'on peut trouver dans une bibliothèque. Mais encore faut-il disposer de solidessolides connaissances en biologie, pour pouvoir améliorer la conception d'une arme de ce type.

Leurs réponses ne contenaient donc rien qui aurait pu réellement améliorer une attaque. Toutefois, lors des différentes expérimentations, l'équipe qui a obtenu le meilleur score est celle qui est parvenue à faire sauter les verrousverrous éthiques des IA. Connue sous le nom de « jailbreaking », elle permet de manipuler l’IA en employant un langage ambigu et manipulateur.

Encore une fois, si l'IA ne délivre pas encore des informations pertinentes, cela ne veut pas dire qu'elle ne pourra pas bientôt le faire, surtout si elle est débridée. Cette interrogation vient encore renforcer la nécessité de règlementer l'IA. Or, faire sauter ses protections est précisément ce que souhaitent Donald Trump et Elon MuskElon Musk, afin de rendre l'IA moins « woke » et surtout d'accélérer son développement.