Les voitures autonomes testées sur le terrain sans risque grâce au simulateur Vista

Les systèmes de contrôle des voitures autonomes sont majoritairement formés à l'aide de données produites par des conducteurs humains. C'est parfait pour les situations les plus courantes, mais il manque les scénarios les plus extrêmes, ceux où l'on frôle l'accidentaccident et que l'on ne peut évidemment pas demander à un conducteur de reproduire au péril de sa vie. C'est là que la simulation prend tout son intérêt. Sauf que jusqu'à présent, un système de conduite autonome entièrement formé sur simulateur n'avait jamais été transposé sur une voiture circulant en conditions réelles. C'est désormais chose faite.

Pour créer cette passerelle entre le virtuel et le réel, une équipe de chercheurs du Massachusetts Institute of Technology (MIT) a développé un simulateur photoréaliste appelé Vista (Virtual Image Synthesis and Transformation for Autonomy) qui peut générer une quantité quasiment infinie de variantes à partir des trajectoires que le véhicule pourrait emprunter dans le monde réel. Un procédé qui permet donc de reproduire toutes les situations possibles, même les plus dangereuses.

Le traitement photoréaliste se fait à partir de vidéos prises en conditions réelles. Pour chaque image, le moteur de rendu projette chaque pixel dans un nuagenuage de points en 3D. Puis, il place un véhicule virtuel à l'intérieur de ce monde. À chaque mouvementmouvement du véhicule, le moteur synthétise une nouvelle trajectoire à travers le nuage de points en prenant en compte la distance et le mouvement de tous les objets de la scène grâce à réseau neuronal convolutif qui va gérer les informations relatives à la profondeur de champ. Enfin, le logiciel utilise cette nouvelle trajectoire pour générer une scène photoréaliste.

Cette vidéo détaille les trois étapes de la formation d’une IA conductrice : la simulation, l’entraînement et le déploiement sur route. © MIT CSAIL

Le simulateur Vista bientôt open-source

Le principe général de ce simulateur revient à donner l'instruction à l'IAIA conductrice qu'elle peut évoluer comme bon lui semble dans cet environnement virtuel en respectant deux principes de base : ne pas entrer collision avec d'autres véhicules et rester dans les voies de circulation. À partir de là, elle se « débrouille », pour ainsi dire.

Au début de sa formation, cette dernière n'a aucune notion de la conduite automobileautomobile et elle est avertie seulement quand sa manœuvre entraîne un accident. VistaVista a recours à l'apprentissage par renforcement (reinforcement learning) pour signaler à l'IA les erreurs qu'elle commet afin qu'elle se corrige d'elle-même. À chaque incident, le simulateur change d'environnement de conduite afin de pousser l'IA à améliorer ses manœuvres.

Au bout de 10.000 km de ce type de simulation, l'IA a été injectée dans le système d'une vraie voiture autonome afin de tester ses capacités en conditions réelles. Le véhicule s'est montré capable de naviguer dans un environnement dont il n'avait aucune connaissance préalable.

Selon les chercheurs du MIT, c'est la première fois qu'une IA, formée à 100 % par reinforcement learning et uniquement dans un environnement virtuel, est ainsi déployée sur le terrain. « Non seulement le contrôleur n'a jamais été sur une vraie voiture, mais il n'a jamais vu les routes et n'a aucune connaissance préalable sur la façon dont les humains conduisent », soulignent les chercheurs.

Le prochain objectif qu'ils se sont fixés est de simuler tous les types de conditions de route (jour, nuit, soleilsoleil, pluie, neige...) à partir d'une seule trajectoire et d'introduire des interactions plus complexes avec les autres véhicules en circulation. Ces travaux ont fait l'objet d'un article dans IEEE Robotics and Automation Letters. L'équipe du MIT indique qu'elle compte publier le code sourcecode source de Vista prochainement.