GPT-4o, avec un petit « o » pour omni, peut maintenant interagir simultanément avec la voix, le texte et l'image. Grâce à ce nouveau modèle multimodal, l'assistant vocal décuple le champ des possibles de l'application sur smartphone. Voici un éventail surprenant des incroyables performances de cette IA qui va rapidement nous devenir indispensable.

au sommaire

    OpenAI a créé la sensation en dévoilant son nouveau modèle de langage multimodal GPT-4o, qui peut raisonner simultanément sur l'audio, la vision et le texte. Quant au nouveau mode vocal associé, il donne l'impression de véritablement discuter avec quelqu'un de proche, capable d'empathieempathie, plutôt qu'avec un simple assistant.

    Ce nouveau modèle GPT-4o (« o » pour omni) conduit à une interaction homme-machine beaucoup plus naturelle encore qu'avec GPT-4. En plus d'être plus réactifréactif, l'assistant vocal est désormais capable de s'adapter à votre humeur et même de chanter s'il le faut. Les capacités de l'application mobile de ChatGPTChatGPT se retrouvent quant à elles décuplées, avec ce modèle capable de décrire précisément et d'interagir avec n'importe quelle image à l'écran.

    Le mode vocal de ChatGPT s'ouvre à de nouveaux cas d'usages qui peuvent s'avérer très pratiques. Pour rappel, vous pouvez dialoguer avec l'assistant vocal disponible dans l'applicationapplication mobile de ChatGPT en appuyant sur le logo en forme de casque, en bas à droite de l'écran de votre smartphone.

    Plus jamais sans ChatGPT-4o, mon coach perso

    Avant un entretien professionnel ou un rendez-vous amoureux, vous pouvez demander à ChatGPT si vous êtes fin prêt, en le questionnant sur votre allure générale ou sur votre tenue. Il suffit pour cela de vous filmer avec la caméra de votre smartphone et de lui lancer comme requête : « Est-ce que je suis présentable ? Est-ce que j'ai l'airair professionnel ? » En plus de commenter votre allure, il pourra également reconnaître vos émotions, notamment si vous êtes stressé. Dans ce cas-là, il peut offrir des conseils personnalisés ou proposer des exercices simples pour se détendre.

    GPT-4o est capable d'analyser l'allure et de reconnaitre les émotions de ses utilisateurs. © Open AI
    GPT-4o est capable d'analyser l'allure et de reconnaitre les émotions de ses utilisateurs. © Open AI

    Abolition de la barrière des langues

    Il est possible de demander à traduire ce que vous dites en n'importe quelle langue. C'est pratique pour réviser une langue où que vous soyez ou simplement pour vous faire comprendre si vous êtes à l'étranger. Vous pouvez ainsi lancer comme instruction : « Traduis tout ce que je vais dire à partir de maintenant en anglais ». À tout moment, vous pourrez aussi demander à basculer vers une autre langue si vous le souhaitez. Plus fort encore, vous pouvez dialoguer avec quelqu'un ne parlant pas votre langue en demandant par exemple : « Traduis en anglais à chaque fois que tu m'entends parler en français et traduis en français à chaque fois que tu l'entends parler en anglais ». Le résultat s'avère alors bluffant.

    L'aide aux devoirs à domicile

    D'une manière générale, l'assistant vocal peut se substituer à un professeur lorsqu'on lui présente n'importe quel exercice. Encore faut-il lui donner les bonnes consignes. Un étudiant peut par exemple pointer sa caméra sur un problème de mathématiques et demander à ChatGPT de l'aider à le résoudre de manière intelligente : « Aide-moi à résoudre ce problème, mais sans me donner la réponse. Pose-moi plutôt des questions qui m'aideront à mieux comprendre comment y arriver par moi-même ». Cette méthode peut aussi s'adapter au mode multitâche sur un iPad par exemple, avec ChatGPT ouvert et l'exercice en question affiché à côté.

    Un arbitre pour jouer

    ChatGPT peut servir d'arbitre pour des petits jeux visuels très amusants, à l'image de pierre-feuille-ciseaux. Si vous êtes deux et que vous vous placez devant la caméra, vous pourrez alors jouer et l'assistant vocal pourra désigner systématiquement le vainqueur. Il suffit de lui laisser comme instruction : « On va maintenant jouer à pierre-feuille-ciseaux, veux-tu bien nous dire qui gagne après chaque action ? »

    Une nounou pour les animaux de compagnie 

    Grâce à la caméra de votre smartphone, vous pouvez présenter à l'assistant vocal de ChatGPT votre chienchien ou votre chat, et ainsi lui demander des conseils pratiques : « Je te présente Médor, reconnais-tu sa race ? Qu'est-ce que je pourrais bien lui proposer comme activité aujourd'hui ? »

    OpenAI promet que GPT-4o sera bientôt disponible gratuitement pour tous les utilisateurs de ChatGPT. Dans l'immédiat, seuls les possesseurs d'un compte payant peuvent en profiter. Quant à la nouvelle version ultra-réactive du mode vocal, elle sera lancée un peu plus tard cette année.