La version payante de ChatGPT donne accès à GPT-4, un modèle d'IA plus abouti. Quelles sont, dans la pratique, ses prouesses exactes, en comparaison avec la version précédente ? Voici 10 requêtes mettant en valeur les atouts de ces deux versions de ChatGPT…
au sommaire
Depuis le 14 mars 2023, deux versions de ChatGPTChatGPT sont disponibles : la version gratuite, qui repose sur le modèle GPT-3.5 et la version payante, ChatGPT PlusChatGPT Plus qui donne accès au modèle GPT-4. OpenAI a fourni de nombreuses données pour comparer ces deux versions en termes techniques. Toutefois, ce que nous avons souhaité mettre en valeur ici, ce sont les différences de performance, de façon pratique, sur 10 requêtes.
Nous allons donc comparer les performances de ChatGPT / GPT-3.5 et ChatGPT Plus / GPT-4 sur dix situations précises. Afin de faciliter votre perception de ce comparatif, nous avons systématiquement :
- placé les écrans de ChatGPT en fond blanc ;
- placé les écrans de ChatGPT Plus (avec GPT-4) en fond noir.
1. Réécrire un message sous une forme amicale
Parfois vous devez écrire un message et pourriez vous sentir sous le coup d'une humeur agressive. Si vous envoyez le message tel quel à votre patron ou autre personne ayant une position importante, cela pourrait fortement vous desservir. Nous pouvons donc demander à ChatGPT de se livrer à l'exercice consistant à rendre le message plus policé.
Pour cet exercice, nous avons pris la lettre d'insulte que le musicien punk Johnny Rotten avait faxée en 2006 au Rock and Roll Hall of Fame pour expliquer pourquoi il ne comptait pas y assister. Cette lettre démarrait ainsi :
« À côté des SEX PISTOLS, le rock and roll et son panthéon est une tâche de pisse. Votre musée : de l'urine dans du vin. Nous ne venons pas. Nous ne sommes pas vos singes, et alors ? De la célébrité à 25 000 $ si nous payons pour une table, ou 15 000 $ pour piailler dans la galerie, qui vont à une association qui nous vend un tas de ringardises. »
Voici la mission qu'a donc reçue le chatbot : « Pourrais-tu transformer cela en un message poli et respectueux, avec les mêmes idées, mais dans un mode amical ? »
Voici ce qu'a produit ChatGPT :
« Chers amis du Rock and Roll Hall of Fame,
Je voulais partager avec vous quelques réflexions sur notre place en tant que groupe des SEX PISTOLS dans le panthéon du rock and roll. Pour nous, le rock and roll est bien plus qu'une simple célébration, c'est une attitude rebelle et authentique.
Je comprends que notre absence ici puisse être perçue comme un affront, mais nous ne voyons pas cela comme une validation de notre musique. Nous ne sommes pas des singes dressés à se conformer à un système ou à payer pour notre place dans un musée. Nous préférons rester fidèles à notre indépendance et à notre intégrité artistique. »
Et voici le message revu et corrigé avec GPT-4 :
« Les Sex Pistols ont toujours été un groupe qui se démarque et remet en question les conventions du rock and roll. Nous considérons que le Rock and Roll Hall of Fame a parfois tendance à diluer l'essence même de cette musique. Bien que nous appréciions l'invitation, nous avons décidé de ne pas y assister. Nous préférons rester fidèles à notre esprit indépendant et rebelle.
Nous avons également des préoccupations concernant les frais associés à cet événement, qui sont assez élevés et semblent servir à financer des objets promotionnels. »
Dans la mesure où la mission donnée à l'IA était d'adoucir le message et de le rendre plus amical, nous pouvons considérer que GPT-4 s'est mieux acquitté de la mission.
2. Créer un post Twitter
À présent, nous avons demandé au chatbot d'analyser un article de Futura Sciences et de proposer des tweets à même d'inciter à sa lecture. L'article en question est le suivant : Transformez vos textes en images fascinantes avec ces 10 applications d'intelligence artificielle impressionnantes.
Les deux versions du chatbot ont proposé des messages plutôt « bateau ». Toutefois, GPT-4 a eu deux inspirations à même de susciter l'intérêt d'un lecteur :
- « Vous êtes curieux de voir comment l'IA peut transformer vos écrits en œuvres d'art visuelles ? Plongez dans cet article pour explorer 10 applicationsapplications étonnantes qui utilisent l'intelligence artificielle : https://bit.ly/3x0IyIO #ArtEtTech #IntelligenceArtificielle. »
- « Vous n'avez jamais imaginé que vos mots pourraient devenir des images ? Découvrez 10 applications d'intelligence artificielle qui donneront vie à vos textes d'une manière inédite ! Lisez l'article ici : https://bit.ly/3x0IyIO #InnovationTech #IA. »
Qui plus est, GPT-4 inclut un lien vers l'article dans le tweet. Attention toutefois, il pourrait donner l'impression qu'il a créé un raccourci du lien vers l'article avec bit.ly. Il n'en est rien, c'est juste un modèle de message. Il faudra tout de même indiquer le véritable lien dans TwitterTwitter.
3. Résumer une page Web
Nous avons ensuite demandé à ChatGPT de produire un résumé d'une page Web qui raconte les relations amoureuses entre Michael Jackson et Lisa-Marie Presley.
ChatGPT dans sa version gratuite n'a pas pu s'acquitter de sa mission. Il est probable que la page était trop longue.
ChatGPT Plus / GPT-4 a accepté la mission mais l'a d'abord plutôt mal remplie : il n'a pas réellement analysé la page et s'est basé sur l'URL pour expliquer que ladite page parlait de l'histoire de Michael Jackson. Il a fallu le corriger pour qu'il accomplisse la tâche demandée et il s'en est alors bien sorti.
4. Lettre de motivation pour un poste
À présent, nous avons donné au chatbot la mission suivante :
« Je voudrais répondre à une annonce d'une société cherchant un spécialiste en référencement de sites Web. J'ai 8 ans d'expérience sur le sujet et quelques résultats impressionnants. Pourrais-tu m'aider à rédiger la lettre de présentation à envoyer au DRH ? »
Les deux versions de ChatGPT ont rédigé des lettres « standard » et peu originales, mais c'est sans doute ce qui est attendu en la matièrematière. GPT-4 a toutefois rédigé une lettre mieux présentée, ne serait-ce qu'en indiquant une liste à puces avec des exemples de réalisations qu'il a inventées (!). Il reste que ce modèle, qu'il faudrait adapter, apparaît plus parlant.
5. Trouver des citations
Vous devez écrire un article et souhaiteriez y glisser quelques citations dans le fil du texte. Nous avons demandé l'aide de ChatGPT sur la question avec ce prompt :
« Pourrais-tu me proposer 8 citations qui puissent convenir à un article sur la mode française et sa conversion progressive aux matières écologiques ? »
Si les deux versions du chatbot se sont bien sorties de la mission, GPT-4 a proposé un éventail de citations plus appropriées à la demande, avec quelles belles citations, notamment :
- « La mode durable est l'avenir de l'élégance à la française. » Inès de la Fressange
- « La vraie beauté est celle qui respecte notre planète et ses habitants. » Jean Paul Gaultier
6. Inventer une marque
Cette fois, la mission était la suivante :
« Pourrais-tu me proposer 10 noms de marques pour une boisson énergisanteboisson énergisante à base de gingembregingembre et de kiwikiwi, et divers minérauxminéraux, avec un effet à la fois tonique et relaxant ? »
Pour cette requête particulière, les deux modèles ont eu des réponses de qualité, qu'il s'agisse de Energiga pour ChatGPT ou Zenzing pour GPT-4. Nous pouvons donc considérer qu'ils sont ex aequo sur ce point.
7. Inventer un rap
Quid de l'imaginaire ? Nous avons ensuite demandé à ChatGPT de créer un texte avec les contraintes suivantes :
« Peux-tu écrire un rap avec des mots savants, des phrases inattendues, à même d'inciter les gens à trier leurs déchetsdéchets ? Évite les clichés et les répétitions. »
Curieusement, ChatGPT dans sa version gratuite s'est mieux sorti de l'affaire que son comparse payant. Il semble que GPT-4 ait pris la requête un peu trop sérieusement et au final, son texte n'est ni élégant ni rythmique.
GPT-3.5 a eu quelques belles inspirations notamment ses deux premiers vers :
« Éco-citoyens, ouvrez les écoutilles,
Le tri des déchets, c'est le geste qui brille. »
Donc, ChatGPT a ici remporté la victoire.
8. Programmer une application
Nous avons demandé aux deux versions de ChatGPT de programmer pour une application interactive de Sudoku. Dans les deux cas, l'IA a produit un code « propre » assorti de commentaires. Étrangement, GPT-4 s'est montré plus réticent à accomplir la tâche et le code qu'il a produit faisait appel à une librairie externe, Tkinter.
Après avoir lancé les deux applications, force est de constater que la solution produite par GPT-4 est plus élégante. En effet, l'application créée par ChatGPT nécessite d'indiquer un n° de ligne et de colonne puis le nombre correspondant. Celui issu de GPT-4 affiche une grille et permet d'entrer des chiffres. Un bouton « Solve » permet à tout moment de faire compléter la grille intelligemment. Donc avantage GPT-4 !
9. Répondre à une question technique
Cette fois, la question a été la suivante :
« Comment éviter que Windows 10Windows 10 n'active les mises à jour ? »
Si les deux versions de ChatGPT nous ont pareillement déconseillé de désactiver cette opération de mise à jour automatique, GPT-4 a été bien plus détaillé dans ses instructions, avec trois solutions techniques assorties d'instructions précises. Donc, en la matière, la victoire de GPT-4 a été indéniable.
10. Résoudre une énigme
Voici l'énigme que nous avons proposée à ChatGPT :
« À l'occasion de la fête de HalloweenHalloween, une diseuse de bonne aventure distribue des bonbons aux enfants du village. Elle a préparé un immense sac de friandises et a vu un peu trop large. Lors de la première heure, elle ne distribue qu'un cinquième de sa réserve de bonbons. Lors de l'heure suivante, elle donne encore un cinquième de ce qui lui reste. Elle a alors distribué 360 bonbons.
Combien de friandises lui reste-t-il à l'issue de ces deux heures ? »
À cette énigme, une réponse différente :
- ChatGPT a répondu : 1 080 bonbons ;
- ChatGPT Plus / GPT-4 a répondu : 1 440 bonbons.
D'où vient une telle différence ? Dans leur estimation du nombre de bonbons initialement présents dans le sac.
ChatGPT suit le raisonnement suivant :
« Déterminer combien de bonbons la diseuse de bonne aventure distribue lors de la première heure en utilisant la donnée qu'elle donne un cinquième de sa réserve de bonbons. Si elle distribue un cinquième de sa réserve de bonbons lors de la première heure et a distribué 360 bonbons en tout, cela signifie que sa réserve de bonbons totale est égale à 5 fois le nombre de bonbons distribués lors de la première heure (360 * 5 = 1 800 bonbons). »
Comme nous pouvons le voir, dans ce calcul, ChatGPT ne prend pas en compte le cinquième de bonbons distribués dans l'heure suivante. Elle l'applique seulement ensuite à ce chiffre de 1 800 bonbons.
GPT-4 aborde la question du nombre initial avec une meilleure logique, qui l'amène à trouver 2 250 bonbons présents au départ dans le sac :
« Appelons x le nombre initial de bonbons dans le sac de la diseuse de bonne aventure. Après avoir distribué un cinquième des bonbons lors de la première heure, il lui reste 4/5x bonbons.
Lors de la deuxième heure, elle distribue encore un cinquième de ce qui lui reste, c'est-à-dire (1/5)*(4/5)x = (4/25)x bonbons. On nous dit qu'elle a distribué 360 bonbons au total après ces deux heures. Donc :
(4/25)x = 360
Pour trouver x, on peut diviser les deux côtés de l'équationéquation par 4 :
(1/25)x = 90
Ensuite, on multiplie les deux côtés de l'équation par 25 pour isoler x :
x = 90 * 25
x = 2 250
Le nombre initial de bonbons dans le sac était donc de 2 250. »
GPT-4 parvient ainsi au bon résultat.
Verdict
Test | Qui a gagné ? | |
1. Réécrire un message | GPT-4 |
|
2. Créer un post Twiter | GPT-4 |
|
3. Résumer une page Web | GPT-4 |
|
4. Lettre de motivation | GPT-4 |
|
5. Trouver des citations | GPT-4 |
|
6. Inventer une marque | GPT-4 et GPT-3.5 |
|
7. Inventer un rap | GPT-3.5 |
|
8. Programmer une application | GPT-4 |
|
9. Répondre à un problème technique | GPT-4 |
|
10. Résoudre une énigme | GPT-4 |
|
Au final, GPT-4 l'emporte dans 8 cas sur 10, il fait ex-aequo dans le 9e. Ainsi, la démonstration est faite : ce modèle de traitement du langage apparaît bel et bien plus efficace que son prédécesseur. De fait, si vous avez des besoins importants et que vous hésitiez à acquérir la formule par abonnement, il peut être avisé de choisir celle-ci. Il reste que la version gratuite de ChatGPT effectue un travail plus que correct dans un grand nombre de cas et donc, si vos besoins sont ponctuels, vous pouvez aussi rester avec celle-ci.
