ChatGPT connaît un succès sans précédent ! Mais, comme il fallait s’y attendre, certains l’ont mis à profit pour des usages peu honorables : exposés d’université rédigés par cette Intelligence artificielle, production de contenus marketing revendus sans vergogne… Est-il possible d’identifier de tels contenus ? Et inversement, peut-on identifier comme tel un texte rédigé par un humain ? La réponse est relativement positive. La bonne nouvelle, c’est qu’il semblerait que les outils d’analyse de contenu se perfectionnent de jour en jour.
au sommaire
ChatGPTChatGPT a rapidement battu des records. Il ne lui a fallu que deux mois pour enregistrer 100 millions d’utilisateurs là où il en avait fallu neuf pour TikTokTikTok et deux ans et demi pour Instagram.
Dans le même temps, ChatGPT a suscité un ventvent de panique dans de nombreuses institutions. Comme l'on pouvait s'y attendre, des étudiants se sont servis de cet outil d'Intelligence Artificielle (IA) pour générer leurs exposés. Ainsi, le 3 février 2023, l'Université de Strasbourg a révélé avoir démasqué et sanctionné des étudiants qui en avaient fait usage pour un QCM.
La situation est telle que l'usage de ChatGPT a officiellement été interdit dans les écoles de New-York ou bien encore dans un établissement tel que Sciences-Po, « sous peine d'exclusion » comme l'a précisé une directrice de formation sur France Info.
Là n'est pas tout. Des petits malins ont flairé là une jolie source de revenus facile, et des applicationsapplications exploitant ouvertement le potentiel de ChatGPT et outils similaires ont fleuri, que ce soit pour créer du contenu marketing, des posts TikTok... D'autres suggèrent d'utiliser ChatGPT pour produire du contenu pour des blogs. Certaines annonces ont de quoi susciter l'écœurement, notamment celles qui clament « Vous n'aurez plus besoin de faire appel à des rédacteurs ! » Ni plus ni moins.
OpenAI fait part de son inquiétude
OpenAI, créateur de ChatGPT et autres applications d’IA telles que Playground, a clairement perçu qu'il y avait là un motif d'inquiétude. Les perspectives de tricherie ou d'exploitation commerciale éhontée évoquées plus haut ont été prises très au sérieux.
Début janvier 2023, Scott Aaronson, l'un des chercheurs recrutés par OpenAI a fait part de ses préoccupations lors d'une conférence donnée à l'Université du Texas. Aaronson entend dédier ses compétences à la création d’outils amenant à différencier les textes écrits par des IA et ceux écrits par des humains. Selon lui, la rédaction de dissertations à l'école n'est qu'une facette du problème et pas forcément la pire. Il importe de freiner ou même empêcher « la génération massive de propagande -- "spammer" chaque blog avec des commentaires à priori pertinents qui soutiendraient l'invasion de l'Ukraine (...). Ou imiter le stylestyle d'écriture d'une personne pour l'incriminer ».
Scott Aaronson entrevoit comme solution potentielle de donner un style d'écriture spécifique à GPT : « Des écrivains comme Shakespeare, Wodehouse, David Foster Wallace ont un style si distinctif que, même s'ils essayaient de prétendre être quelqu'un d'autre, ils n'y arriveraient probablement pas. Tout le monde les reconnaîtrait. On pourrait imaginer de créer une IA similaire. C'est-à-dire qu'elles seraient construites dès le début pour que les textes contiennent des filigranes indélébiles, qu’ils soient cryptographiques ou stylistiques, pouvant trahir leur origine ».
Oui, mais... Il suffirait de demander à une seconde IA de reformuler la première réponse pour éliminer ce filigrane. De plus, le code de ChatGPT étant Open Source, certains pourraient développer des outils pour supprimer cette signature.
Mais comment identifier un texte écrit par ChatGPT ?
Que faire dans la pratique ? Si, en tant que professeur, directeur de publication, vous soupçonnez des élèves ou des contributeurs d'avoir utilisé ChatGPT, quels indices pourraient vous mettre sur la voie ? Plusieurs pistes peuvent vous y aider :
- Si un grand nombre d'élèves soumettent des exposés présentés sur le même modèle - quand bien même ils ont pu modifier certains mots ou phrases, il y a de quoi suspecter l'usage d'une IA telle que ChatGPT.
- Les raisonnements employés par ChatGPT sont souvent les mêmes. Ainsi, un professeur qui corrige des copies pourra être alerté par cette similarité du déroulé des arguments, quand bien même l'élève a tenté de personnaliser ce qu'il a remis.
- Comme la base de connaissance de ChatGPT s'arrête à 2021, un texte faisant référence à des événements survenus plus tard sera probablement faux. Par exemple, nous avons questionné ChatGPT sur la réforme des retraites débattue en 2023 et il a répondu par un texte sur le système de retraites à point qui était le projet débattu en 2019.
- La rédaction en mode ChatGPT est habituellement dépourvue d'originalité, et manque singulièrement de personnalité.
- ChatGPT ne fait pas de faute d'orthographe. Si vous employez un rédacteur habituellement faible sur ce point et qu'il remet un texte sans aucune coquille, il y a là de quoi soupçonner l'usage de l'IA.
Pour aller plus loin, le mieux est d'utiliser des outils d'analyse et nous vous en présentons trois ici.
La solution proposée par OpenAI : AI Text Classifier
Le 31 janvier, OpenAI a publié un premier outil visant à détecter des textes écrits par IA. Il s'appelle AI Text Classifier et vous pouvez y accéder ici. Pour entraîner cet outil, OpenAI l'a soumis à des paires : texte écrit par un humain versus texte écrit par une IA pour un sujet donné ; et AI Text Classifier a appris par lui-même à repérer des différences entre les deux.
AI Text Classifier n'est pas un outil infaillible, loin de là, comme le reconnaît ouvertement OpenAI dans le communiqué publié fin janvier. Toutefois, il est par nature perfectible et susceptible d'améliorer sa précision au fil des jours.
« Dans nos évaluations, il a correctement identifié 26 % des textes écrits par des IA. Mais il a également identifié comme tels 9 % de textes écrits par des humains. Il est à noter que sa précision augmente selon la taille du texte qui lui est soumis. » De fait, AI Text Classifier exige qu'on lui soumette des textes d'au moins 1 000 caractères et OpenAI affirme que, à tout prendre, cet outil serait supérieur aux outils du même type apparus précédemment.
Là n'est pas tout. À la sortie de Text AI Classifier, OpenAI recommandait de ne l'utiliser que sur du texte rédigé en anglais. « Il fonctionne vraiment moins bien sur des textes non anglais. Et il n'est pas en mesure de détecter la source d'un code informatique ». Or, comme nous allons le voir, AI Text Classifier a rapidement appris à opérer sur des textes en français.
En ce qui nous concerne, début février 2023, nous avons soumis AI Text Classifier à une dizaine de tests : 5 textes en français rédigés par ChatGPT, 5 textes en français rédigés par un humain (votre serviteur en l'occurence). Eh bien, AI Text Classifier ne s'est trompé que deux fois ! Cela donne à penser qu'il apprend vite et bien...
Dans son communiqué, OpenAI a ouvertement invité les professeurs, parents et autres, à lui fournir du feedback afin qu'il soit possible d'améliorer son outil.
D’autres outils pour reconnaître des textes par une IA
Il existe bien d'autres outils d'analyse de texte et nous en avons testé deux autres.
Draft & Goal
Cet outil propose un index du pourcentage d'Intelligence artificielle. Lors du test des 10 fichiers évoqués plus haut, il a affiché un score vraiment bon. Il a reconnu comme tels sans aucune équivoque, trois des textes produits par ChatGPT, a donné un score de 90 % pour l'un d'eux et une note proche de 50 % pour le 5e.
Draft & Goal, curieusement, a été moins brillant pour ce qui est des textes écrits par un humain. S'il les a reconnus comme tels à 100 % dans deux cas de figure, il s'est montré hésitant pour les trois autres, incapable de se prononcer.
Draft & Goal est néanmoins un outil que l'on peut recommander, en complémentarité avec AI Text Classifier.
GPTZero Classic
Les tests que nous avons menés sur GPTZero Classic ont été bien moins concluants. Cet outil n'a pas été capable de détecter que nos cinq fichiers tests créés avec ChatGPT avaient pour origine l'Intelligence artificielle. Et inversement, sur un texte « humain », il a estimé que certaines parties avaient été écrites par IA. Autant dire que, à l'heure où sont écrites ces lignes, il n'est pas fiable.
