Le côté obscur des IA basées sur les grands modèles de langage

Révolution pour les uns, danger pour les autres, les intelligences artificielles (IA) basées sur les grands modèles de langage (LLM) ne sont ni bonnes ni mauvaises, mais comme de nombreux objets, elles deviennent ce que l'Homme souhaite en faire. Pour les cybercriminels, leur démocratisation est une aubaine, ne serait-ce que pour peaufiner des attaques par hameçonnagehameçonnage ciblé. Julian Hazell, un chercheur en cybersécurité, a d'ailleurs pu simuler des attaques par phishing très sophistiquées. Pour être convaincant et inciter la cible à livrer des identifiants, le contenu des mails a été rédigé par ChatGPTChatGPT 3, 3.5 et 4 et les messages générés automatiquement étaient suffisamment crédibles pour augmenter considérablement le taux de réussite des attaques.

Des chercheurs du MIT (Massachusetts Institute of Technology) ont également démontré que les LLM pouvaient permettre à quiconque de synthétiser des agents biologiques à des fins malveillantes. Ils donnent également plus de crédibilité aux « arnaques au président » en se faisant passer pour le dirigeant d'une entreprise que ce soit avec des deepfakes vocaux ou par messages. Et puis, il existe toujours le risque que des données confidentielles se retrouvent ingurgitées par ces LLM lorsque des employés de société les utilisent et qu'elles puissent ressortir à partir du moment où l'on fait une demande ciblée au chatbot.

Le côté obscur de la force des IA

Depuis l'arrivée de ChatGPT il y a un an, les LLM sont utilisés massivement par les cybercriminels qui n'ont pas tardé à créer leurs propres outils, comme en témoigne l'arrivée dès cet été de FraudGPT ou WormGPT, des chatbots spécialisés dans les arnaques. Ce détournement montre que les éditeurs de ces IA, comme OpenAI, n'ont toujours pas trouvé les moyens de brider leurs outils pour éviter qu'ils soient détournés. Par exemple, les sécurités de Llama 2-Chat de Meta peuvent être brisées facilement pour moins de 200 dollars, et ChatGPT peut être « jailbreaké » en utilisant des invites de commandes spécifiques. Si Meta comme GoogleGoogle font des efforts pour atténuer ces failles, les problèmes de gouvernance d'OpenAI émanant de visions différentes entre les associés n'aident pas à s'assurer de la mise en place de sécurités suffisantes pour éviter les utilisations malveillantes. Il faut ajouter que le rythme de sortie rapide des versions de GPT n'aide pas à équilibrer le renforcement de la sécurité. Face à ces constats, des solutions opportunes se sont développées chez les professionnels de la cybersécurité, comme avec Ericom, par exemple, qui propose d'isoler les données sensibles des sociétés face aux IA. C'est également le cas avec Menlo Security.