En modifiant la manière dont les grands modèles de langage effectuent leurs calculs, des chercheurs sont parvenus à réduire la consommation énergétique de l’intelligence artificielle de 95 %. Et ce, sans perte de performance.

au sommaire

    L'intelligence artificielle est très gourmande en énergie. Beaucoup trop même. Certains prévoient une crise énergétique causée par l'adoption massive de l'IA d'ici un an ou deux. Toutefois, des chercheurs BitEnergy AI pourraient avoir trouvé une solution. Selon leur article publié sur Arxiv, le coût énergétique du fonctionnement des grands modèles de langage pourrait être réduit de 95 %.

    Cette solution se nomme multiplication à complexité linéaire (L-Mul). Elle permet d'optimiser considérablement les opérations mathématiques nécessaires pour le fonctionnement des IA. Elle remplace les multiplications à virgule flottante par des approximations obtenues par des additions d'entiers bien plus simples.

    Une solution sans perte de performances

    Selon les chercheurs, sans entraînement supplémentaire, cette approximation conduit à une perte de seulement 0,07 % de précision pour les tâches de raisonnement en langage naturel et de 0,12 % pour les tâches visuelles. Une différence de performance qui disparaît complètement avec quelques ajustements. Toutefois, si la technique peut dès à présent être utilisée pour réduire la consommation des grands modèles de langage, elle doit être intégrée au niveau matériel pour un fonctionnement optimal. Une fois fait, les chercheurs indiquent une réduction du coût énergétique de 95 % pour les produits tensoriels à virgule flottante et même une réduction de 80 % de la consommation énergétiqueconsommation énergétique pour les produits scalaires.

    BitEnergy AI indique travailler sur une solution matérielle et développera des API de programmation pour la conception de modèles de haut niveau. Ils espèrent ainsi réduire le coût énergétique des centres de données, des robotsrobots et de nombreux autres appareils.