Un algorithme pour éviter que les robots ne s'en prennent aux humains

Une équipe de chercheurs des universités du Massachusetts, à Amhrest, et de Stanford ont créé une nouvelle approche pour « empêcher le comportement indésirable des machines intelligentes », le titre de leur article est inspiré des Trois lois de la robotique d'Isaac AsimovIsaac Asimov. Ils ont ainsi créé un framework, ou infrastructure logicielle, pour empêcher le biais et les erreurs dans l’intelligence artificielle.

L'IA a fait de grands bonds en avant avec notamment le deep learning, ou apprentissage profondapprentissage profond, ce qui permet d'atteindre des taux d'erreurs assez faibles sur de nombreuses tâches comme la reconnaissance faciale. Cependant, il existe des situations où aucune erreur n'est tolérée. Les systèmes actuels mettent la responsabilité sur l'utilisateur final, qui doit régler le niveau de sensibilité, ce qui influe sur le taux et le type d'erreurs sans nécessairement en comprendre le fonctionnement.

Les algorithmes seldoniens pour encadrer l’IA

Les chercheurs ont mis en évidence le problème avec deux cas concrets. Le premier est la prise en charge par l'IA d'une pompe à insuline, afin de gérer automatiquement le traitement des patients diabétiquesdiabétiques. Le taux d'erreurs acceptable est extrêmement réduit, un surdosage pouvant entraîner un comacoma. Le second cas est la prédiction des notes à l'université en se basant sur les examens d'entrée, ce qui induit généralement un biais sexiste.

Pour empêcher ces erreurs, ils ont créé des algorithmes « seldoniens », ainsi nommés pour Hari Seldon, le héros de la série Fondation d’Asimov. Ils mettent en place des limites que l'intelligence artificielle ne doit pas franchir. Comparé à d'autres approches plus classiques, les résultats ont montré une nette réduction des cas d'hypoglycémiehypoglycémie chez les patients diabétiques et une meilleure fiabilité dans la prédiction des notes pour les étudiants.