Les Intelligences artificielles derrière les chatbots ne sont pas limitées à la discussion. Des chercheurs allemands ont travaillé avec Google pour créer une IA capable de piloter un robot à partir d’une simple requête, et de réagir à tout changement dans son environnement.

au sommaire

    Les Intelligences artificielles conversationnelles, comme ChatGPTChatGPT, reposent sur des grands modèles de langage ou LLM (Large Language Model). Conçues pour traiter du texte, ces IA peuvent également être entraînées pour traiter d'autres types d'informations. C'est ainsi qu'est née PaLM-E, une IA qui peut piloter un robot en temps réel en tenant compte de son environnement.

    Le système a été développé par des chercheurs de chez GoogleGoogle ainsi que de l'université technique de Berlin. Ils ont combiné le modèle de langage PaLM de Google, similaire au GPT de ChatGPT, avec ViT-22B qui est spécialisé dans les tâches visuelles. Le résultat est un modèle multimodal (texte et images) doté de 562 milliards de paramètres.

    Un robot qui réagit en temps réel

    PaLM-E pilote un robot fabriqué par Google équipé d'un bras, et peut interpréter les données de la caméra en temps réel. Il suffit de lui demander d'aller chercher le paquetpaquet de chips dans le tiroir et celui-ci s'exécute. L'IA planifie la procédure sans intervention humaine et peut réagir en temps réel. Ainsi, lorsque le chercheur lui arrache le paquet de chips et le remet dans le tiroir, le robot est capable de s'en rendre compte, puis de mettre à jour sa planification pour la tâche et de reprendre le paquet.

    Ce qui rend cette Intelligence artificielle d'autant plus intéressante est qu'elle peut généraliser ses compétences pour effectuer des tâches qu'elle n'a pas vues pendant son entraînement, et le tout sans perdre ses capacités linguistiques. Ce serait vraiment intéressant de voir PaLM-E aux commandes d'un robot comme Spot ou Atlas de Boston Dynamics...