Une intelligence artificielle peut apprendre une langue sans aide humaine

« Imaginez que vous donniez à une personne de nombreux livres en chinois et en arabe, tous différents, et que vous lui demandiez de traduire du chinois en arabe. Cela semble impossible, n'est-pas ? Eh bien un ordinateur peut le faire. » Voici ce qu'annonce Mikel Artetxe, ingénieur informaticien à l'université du Pays Basque (UPV) de San Sebastiàn en Espagne. Il est l'auteur de l'un des deux articles scientifiques publiés sur arXiv et décrivent une méthode d'apprentissage automatique (machine learning) non supervisée capable de réaliser des traductions sans recourir à un dictionnaire. Le système fonctionne également sans texte parallèle ou identique existant dans une autre langue.

Le second article (Unsupervised Machine Translation Using Monolingual Corpora Only), totalement indépendant mais qui utilise la même technique, est l'œuvre de Guillaume Lample, un ingénieur en informatique français travaillant pour le département d'intelligence artificielle de FacebookFacebook. Dans les deux cas, les chercheurs démontrent qu'un réseau neuronal peut apprendre à traduire une langue sans aller piocher dans un dictionnaire.

Ces dernières années, la traduction automatique a fait d'immenses progrès grâce aux réseaux neuronaux qui ont dopé les performances de l'apprentissage automatique. Cependant, ce type d'IA nécessite de gros volumesvolumes de contenus traduits préalablement par des humains. La traduction est le fruit d'un apprentissage supervisé au cours duquel la machine fait une supposition puis reçoit la réponse correcte d'un humain, ce qui lui permet ensuite d'ajuster son traitement en conséquence. Cette méthode est efficace pour les langues très répandues, l'anglais ou le français par exemple, pour lesquelles il existe de nombreux documents parallèles. Mais elle fonctionne nettement moins bien pour des langues rares qui n'offrent pas d'un tel corpus.

L’IA fait de la géographie pour apprendre les mots

Dans le cas des deux nouvelles méthodes dont il est question, les experts ont développé un apprentissage automatique non supervisé. Pour cela, ils se sont appuyés sur les associations identiques qui existent entre des mots quelle que soit la langue. Par exemple, le mot table est souvent employé avec le mot chaise. Partant de là, la machine va cartographier ces connexions pour chaque langue, un peu comme un atlas routier où les mots remplaceraient les noms des villes. L'IA rapproche ensuite ces cartes et repère les connexions similaires mais avec des noms différents. C'est ainsi qu'on obtient un dictionnaire bilingue sans données préalables. Une sacrée prouesse technique !

Les deux systèmes d'IA sont capables de traduire non seulement des mots individuels, mais aussi des phrases complètes. Pour ce faire, deux techniques d'entraînement sont utilisées. La première, nommée back translationtranslation ou « traduction inversée », consiste à traduire grossièrement une phrase d'une langue vers une autre puis à la traduire à nouveau dans sa langue d'origine. Si la traduction de retour n'est pas identique à l'originale, le réseau neuronal ajustera son fonctionnement en conséquence.

La seconde technique d'entraînement nommée denoising, que l'on peut traduire par « réduction du bruit », est similaire à la traduction inversée dans son principe. Elle consiste à ajouter ou retirer des mots à une phrase puis à la traduire. C'est en combinant ces deux techniques que les chercheurs ont obtenu les meilleurs résultats. Au cœur des deux systèmes, celui de Mikel Artetxe et celui de Guillaume Lample, se trouve une étape qui crée une représentation plus abstraite d'une phrase avant de la traduire dans un autre langage. Cette capacité d'abstraction est un élément clé dans la perspective de la création d'une intelligence artificielle généraliste. Interrogés, les deux chercheurs ont estimé qu'ils pourraient progresser en intégrant les variantes de leurs techniques respectives.

La capacité d’abstraction que les chercheurs ont réussi à intégrer dans leur système d’apprentissage automatique non supervisé est déterminante. © Anoyo, Fotolia

Le machine learning non supervisé est un élément clé de l’IA de demain

Les deux systèmes ont été comparés sur des tests de traductions anglais-français tirés d'une base commune de 30 millions de phrases. Ils ont chacun obtenu un score de 15 dans un sens (anglais-français) et dans l'autre (français-anglais). Sur le même exercice, Google Traduction obtient un score de 40, mais le service utilise de l'apprentissage supervisé. Les traducteurs humains sont en tête avec un score de 50. Si la méthode non supervisée est encore loin de ces niveaux de performance, elle s'e révèle déjà meilleure que la traduction mot à mot.

De plus, les auteurs précisent que leurs IA pourraient progresser si l'on introduisait une part d'apprentissage supervisé avec quelques milliers de phrases traduites en parallèle. Le système est encore balbutiant mais il va assurément progresser. Et le simple fait qu'une machine soit capable d'apprendre à traduire sans intervention humaine est déjà un immense progrès.