L'intelligence artificielle pose cinq problèmes de sécurité selon Google

Avant de s'inquiéter de savoir si une intelligence artificielle (IA) pourrait devenir si puissante qu'elle dominerait les humains, il faudrait déjà faire en sorte que les robots que l'on nous annonce comme nos futurs collègues de travail et compagnons domestiques ne commettent pas d'erreurs fatales. C'est, en raccourci, ce que nous dit GoogleGoogle. Ses spécialistes en intelligence artificielle ont travaillé avec des chercheurs des universités de Stanford et de Berkeley (Californie, États-Unis) ainsi qu'avec l'association OpenAI sur les problèmes de sécurité « concrets » qu'il faut s'atteler à résoudre.

Dans un article intitulé Concrete Problems in AI Safety, cette équipe détaille cinq « problèmes pratiques » liés aux risques d'accidentaccident qu'une IA basée sur l'apprentissage automatique (machine learning) pourrait provoquer si sa conception n'est pas correctement pensée pour le monde réel. « Nous définissons les accidents comme des comportements inattendus et nuisibles qui peuvent émerger de systèmes d'apprentissage automatique lorsque l'on définit la mauvaise fonction de l'objectif, que l'on n'est pas précautionneux avec le processeur d'apprentissage ou que l'on commet d'autres erreurs liées à l'implémentation de l'apprentissage automatique », peut-on lire en introduction. En somme, ce ne sont pas les erreurs potentielles des robots qu'il faut redouter mais bien celles de leurs concepteurs.

Pour illustrer concrètement leur propos, les auteurs de cette étude ont volontairement pris un exemple peu anxiogène, celui d'un robot chargé du nettoyage. Cependant, il va sans dire que les questions soulevées s'appliquent à toute forme d'IA contrôlant un robot.

Pour illustrer son propos sans susciter trop d'inquiétude, Google a choisi de prendre le cas d’un robot nettoyeur chargé de l’entretien de la maison. © Glenn Price, Shutterstock

1. Un robot peut perturber l'environnement

Les deux premiers risques identifiés par les chercheurs de Google et leurs acolytes sont liés à l'attribution d'une mauvaise fonction de l'objectif. Il y a d'abord ce qu'ils nomment avoiding negative side effects ou « éviter des effets secondaires négatifs ». Concrètement, comment éviter qu'un robot ne perturbe l'environnement de façon nuisible alors qu'il ne fait qu'accomplir sa mission. Par exemple, le robot nettoyeur pourrait très bien renverser ou écraser ce qui se trouve sur son passage parce qu'il a calculé l'itinéraire le plus rapide pour achever sa tâche. Pour prévenir ce cas de figure, la solution pourrait consister à créer des « contraintes de bon sens » sous la forme de pénalités infligées à l'IA lorsqu'elle cause une perturbation majeure à l'environnement dans lequel le robot évolue.

2. La machine peut tricher

Deuxième risque : avoiding reward hacking que l'on pourrait traduire de façon imagée par « éviter que la fin ne justifie tous les moyens ». Pour une IA, la récompense correspond à la réussite de l'objectif. Il faut éviter que la quête de la récompense ne se transforme en jeu et que la machine ne cherche à l'obtenir par tous les moyens, quitte à sauter des étapes ou à tricher. Dans le cas du robot cité par Google, cela consisterait par exemple à cacher la poussière sous le tapis pour pouvoir dire « ça y est, j'ai fini ».

Un problème ardu à résoudre tant une IA peut interpréter de façon très variée une tâche et l'environnement qu'elle côtoie. L'une des idées avancées dans l'article est de tronquer des informations afin que le programme n'ait pas une connaissance parfaite de la manière d'obtenir une récompense et ainsi ne cherche pas à aller au plus court ou au plus facile.

3. Comment faire pour que le robot aille à l'essentiel ?

Le troisième risque est nommé scalable oversight que l'on pourrait traduire par « surveillance évolutive ». Plus le but est complexe, plus l'IA va devoir valider sa progression auprès de son référent humain, ce qui deviendrait vite lassant et peu productif. Comment fait-on pour que le robot puisse enchaîner de lui-même certaines étapes de sa mission pour être efficace tout en sachant demander l'approbation dans des situations qu'il devra savoir interpréter comme étant particulières ? Exemple : ranger et nettoyer la cuisine, mais demander quoi faire de la casserole posée sur le feufeu. Il faudrait simplifier au maximum les étapes de la mission cuisine de sorte que le robot aille à l'essentiel sans venir vous déranger durant votre sieste à chaque imprévu.

4. Quel degré d’autonomie peut-on accorder à une IA ?

Avant-dernier problème identifié : safe exploration ou exploration en sûreté. Quel degré d'autonomie peut-on accorder à une IA ? Tout l'intérêt d'une intelligence artificielle est qu'elle puisse progresser en expérimentant différentes approches pour évaluer les résultats et décider de conserver les scénarios les plus pertinents pour atteindre son objectif. Ainsi, explique Google, si notre brave robot serait bien avisé d'apprendre à parfaire son maniement de l'éponge, on aimerait qu'il évite de nettoyer une prise électrique ! La solution suggérée est de former ces IA avec des environnement simulés dans lesquels leurs expérimentations empiriques ne créeront aucun risque d'accident. Cela semble somme toute assez évident...

5. L'IA saura-t-elle s'adapter au changement ?

Cinquième et dernier problème : robustness to distributional shift ou comment s'adapter au changement. « Comment s'assure-t-on qu'une IA reconnaisse et se comporte de façon adéquate lorsqu'elle se trouve dans un environnement très différent de celui dans lequel elle a été entraînée ? », demandent les chercheurs. Il serait préférable que le robot qui a été formé à laver les sols d'une usine avec des produits détergents n'applique pas la même technique si on lui demande de nettoyer des bureaux.

L'article se termine en expliquant que ces problèmes sont relativement simples à surmonter avec les moyens techniques dont nous disposons actuellement mais qu'il est « digne d'intérêt et prudent » de développer des règles de sécurité qui puissent demeurer efficaces à mesure que les systèmes autonomes gagneront en puissance.

Que l'on se rassure, dans l'hypothèse où l'un, ou plusieurs, de ces risques n'était pas totalement maîtrisé, Google travaille aussi sur un bouton « arrêt d'urgence » pour les IA menaçantes...