CheckNews
Vos questions, nos réponses
CheckNews

ChatGPT : comment détecter qu’un texte a été écrit par l’intelligence artificielle ?

Intelligence artificielle : de la fascination à l'inquiétudedossier
A Lyon, des étudiants ayant utilisé ChatGPT ont été «démasqués» par leur professeur. «CheckNews» a interrogé plusieurs chercheurs à l’origine d’outils de détection de textes générés par IA.
par Florian Gouthière
publié le 14 janvier 2023 à 8h25

Stéphane Bonvallet, enseignant en handicapologie à la faculté de Lyon, avait demandé à ses étudiants de plancher sur «l’approche médicale du handicap en Europe». Au moment de corriger les copies, un doute l’assaille. «Il ne s’agissait pas de copier-coller. Mais les copies étaient construites exactement de la même manière», relate-t-il dans le Progrès. «On y retrouvait les mêmes constructions grammaticales. Le raisonnement était mené dans le même ordre, avec les mêmes qualités et les mêmes défauts. Enfin, elles étaient toutes illustrées par un exemple personnel, relatif à une grand-mère ou un grand-père…» Si ces copies n’étaient donc «pas normales», l’enseignant «n’a pas tout de suite compris de quoi il s’agissait. A l’évidence, il ne s’agissait pas d’un plagiat [de site web]». L’une des élèves avoue : la moitié des quatorze étudiants de master suivant le cours «s’étaient servi de l’intelligence artificielle ChatGPT».

ChatGPT est une application dérivée d’un «modèle de langage» baptisé GPT-3, développé par la société OpenAI. Un modèle de langage dérive d’une analyse statistique de la distribution de mots dans des textes préexistants. Au fil des analyses, la machine identifie que certains mots précèdent toujours d’autres mots, que d’autres peuvent s’intercaler : par exemple en français «un», «le» et «ce» précèdent le mot «chien» ; les adjectifs «grand», «petit», «gros» sont souvent présents entre ces mots, et plus rarement après. La force de l’intelligence artificielle (IA) derrière ChatGPT est de pouvoir extrapoler de très longs textes en réponse à des questions. Les résultats sont particulièrement saisissants lorsqu’il s’agit de produire des séquences de code informatique – dont le langage est éminemment codifié et «logique» – mais les performances sont tout à fait bluffantes avec du français courant.

Dans l’affaire lyonnaise, c’est toutefois l’homogénéité dans la structure des textes qui a mis la puce à l’oreille de l’enseignant. De fait, quand bien même elle proposerait 100 nuances de réponses à une même question, la machine suit toujours plus ou moins la même recette, inspirée de milliers modèles disponibles en ligne.

La pratique n’étant pas formellement interdite, l’enseignant s’est résolu à noter le devoir. «D’une copie à l’autre, ça valait entre 10 et 12,5. J’ai donc mis 11,75 aux sept étudiants qui ont utilisé ChatGPT», explique-t-il au quotidien régional. Pas de quoi décrocher des palmes académiques. Car à ce jour, pour un sujet donné, cette IA textuelle est surtout douée pour synthétiser les idées les plus fréquemment croisées lors de son apprentissage.

Illusion d’exactitude

La caractéristique principale des modèles de langage utilisés par les IA reste «l’illusion d’exactitude», comme l’observait mi-décembre Melissa Heikkilä, journaliste à la MIT Technology Review, spécialisée dans les questions d’IA. «Les phrases qu’elles produisent semblent correctes – elles utilisent les bons types de mots dans le bon ordre. Mais l’IA ne sait pas ce que cela signifie. Ces modèles […] n’ont pas la moindre idée de ce qui est correct ou faux, et ils présentent avec assurance des informations comme vraies, même si elles ne le sont pas…»

Plusieurs équipes de recherche dans le monde travaillent à développer des logiciels capables de détecter les «tics» stylistiques des IA. Dans une étude parue en 2020, une équipe de chercheurs rattachés à l’Université de Pennsylvanie et au laboratoire Google Brain dédiée au «deep learning» observe que ces textes abusent de mots impersonnels, et n’utilisent que peu de mots «rares» (argot, langage soutenu…). Les textes produits par des IA sont également écrits… sans fautes de frappe.

Des logiciels de détection de plagiat sont déjà employés par les universités pour identifier les «emprunts» à des textes présents en ligne dans des productions d’étudiants. Des dispositifs analogues sont en cours de développement pour reconnaître le «style» si particulier des IA. Des algorithmes ont ainsi été entraînés à la détection avec des jeux de textes respectivement rédigés par des humains et des IA (associés aux modèles de langages GPT, GPT-2 ou autres), et libellés comme tels. En somme, on demande aux IA de dépister des IA. Parmi ces outils, on peut citer le GPT-2 Output Detector, d’utilisation très intuitive, créé en 2019 dans le cadre d’un projet «pour une diffusion responsable, par étapes, de GPT-2» porté par OpenAI. Mais aussi l’extension de navigateur Chrome GPTrue or False, le Giant Language Model Test Room (GLTR), développé par une équipe de Harvard en partenariat avec IBM, ou encore le CTRL-detector, développé par l’éditeur de logiciels Salesforce. Des outils essentiellement développés et évalués sur des corpus anglophones, et dont certains sont particulièrement performants… tant que le texte proposé «est entièrement produit par l’IA», note auprès de CheckNews Ganesh Jawahar, chercheur en IA à l’Université de Colombie-Britannique. Ce n’est plus le cas «si le texte qui est généré [par l’IA] a ensuite été édité par les étudiants…» notamment à l’aide d’un logiciel automatisé de paraphrase.

«Cocktail de méthodes de détection»

Les différents experts sollicités par CheckNews jugent en outre que le modèle GPT-3 a pris beaucoup d’avance sur les outils de détection. Entre un texte peu original écrit par un humain peu inspiré et une rédaction signée ChatGPT, la différence devient très mince… Irene Solaiman, chercheuse à Hugging Face et ancienne salariée d’OpenAI, nous confirme sans surprise que «la précision [des logiciels de détection] diminue avec des [modèles de langage] plus puissants», se référant à une évaluation menée fin 2019 à laquelle elle a participé. Elle se dit toutefois «agréablement surprise que le GPT-2 Output Detector fonctionne encore assez bien pour ChatGPT» (selon l’un des cofondateurs d’Hugging Face, Julien Chaumond, il y a eu «4,45 millions d’utilisateurs uniques sur cet outil de détection depuis le 1er décembre»). Début janvier, Edward Tian, un étudiant en informatique de l’Université de Princeton, a mis en ligne un détecteur dédié à ChatGPT baptisé GPTzero, dont les performances n’ont pas encore été formellement évaluées.

Quoi qu’il en soit, «aucune méthode, ni aucun modèle de détection [automatisé] ne sera fiable à 100%», juge Irene Solaiman. Raison pour laquelle elle «recommande toujours d’utiliser un cocktail de méthodes de détection, et non une seule». Il faut par exemple garder à l’esprit que ChatGPT a été entraîné au long cours sur de grands corpus de textes. Il pèche de ce fait lorsqu’il s’agit de faire mention d’événements récents. Muhammad Abdul-Mageed, un second chercheur de l’Université de la Colombie-Britannique interrogé par CheckNews, note que «puisque l’IA ne connaît pas ces événements récents, on peut repérer – de façon triviale – des jugements erronés du type : “Le Canada a remporté la Coupe du monde 2022.”» Les mots mis bout à bout par l’IA de façon grammaticalement correcte peuvent également trahir une méconnaissance profonde de la réalité physique de notre monde (référence à des ordres de grandeur invraisemblables pour des distances, des durées). Enfin, relève Solaiman, parce que les modèles produisent des textes en extrapolant quels termes ont le plus de probabilité de succéder à d’autres, «ils peuvent parfois rester bloqués dans une boucle», générant des répétitions et des redondances suspectes.

«Violation de l’intégrité académique»

Récemment, l’entreprise OpenAI a confirmé qu’elle travaillait à altérer très subrepticement de longues séquences de textes générées par son IA afin de constituer une signature – et donc une preuve – de l’origine du texte. A titre d’exemple, cela pourrait consister à forcer la machine à achever une phrase sur dix par un mot finissant par la même lettre, ou une phrase sur vingt par un mot commençant par la même lettre. Quelque chose d’anodin en apparence, invisible pour le lecteur, mais parfaitement incriminant.

Depuis le début de l’année 2023, l’accès à ChatGPT depuis les établissements scolaires new-yorkais est interdit. «Un nombre croissant d’organisations éducatives a commencé à discuter de l’utilisation de ChatGPT dans le cadre des travaux d’étudiants», poursuit Muhammad Abdul-Mageed. «Cela inclut notre propre université, l’UCB, et d’autres comme l’Université de Washington. A ce stade, les universités semblent essayer d’adopter une approche équilibrée. Par exemple, certaines universités encouragent leurs professeurs à commencer à inclure dans leurs programmes d’études des informations sur l’utilisation d’outils d’IA pour effectuer ou automatiser les réponses aux devoirs. Il existe également une tendance positive où les universités encouragent les enseignants à intégrer des connaissances sur ces outils dans les programmes d’études, etc.»

Pour Irene Solaiman, il semble clair que «si un enseignant n’a pas consenti à lire ou à noter un essai généré par un modèle de langage», la situation ressemble «à une violation de l’intégrité académique». Si l’usage qui en est fait est transparent, toutefois, l’outil pourrait trouver sa place à l’université : «Des discussions intéressantes existent quant à savoir si un “grand modèle de langage” peut et doit être utilisé comme un outil ou un “auteur” dans une publication», explique-t-elle. Néanmoins, certaines productions des IA devront toujours «être guidées par l’homme», et «nécessiteront une validation humaine» – notamment celles touchant «la médecine et la santé mentale ou physique». «Ce sont des domaines à hauts risques évidents, en ce qu’ils affectent directement le bien-être humain», insiste Soleiman.

«Esprit critique crucial»

«L’une des choses les plus utiles à faire, juge Muhammad Abdul-Mageed, est à mon avis d’éduquer les utilisateurs sur la question de la désinformation et sur la manière d’être critique vis-à-vis de ce que nous lisons en ligne. C’est peut-être difficile, mais c’est possible. Quoi qu’il en soit, même si des outils permettant de repérer les générations de ChatGPT sont développés et efficaces, il y aura probablement de nouveaux modèles qui seront introduits. Cette situation ne devrait donc pas changer dans un avenir proche, et notre esprit critique en tant qu’humains restera crucial.»

Dans la revue l’Ecole des lettres, une professeur de lettres d’un établissement parisien, Marie-Astrid Clair, propose un point de vue intéressant sur l’émergence de ChatGPT dans la sphère éducative. «L’existence d’un tel outil réduira peut-être la part des devoirs à la maison, qui est source de tant d’inégalités pour nos élèves et, vous le savez bien, mes chers collègues, vous qui, le soir ou le week-end, êtes souvent l’intelligence non artificielle de vos enfants. Une telle machine développera peut-être encore la place donnée à l’oral, à la créativité, à la brièveté. Elle donnera peut-être aux professeurs de français l’illusion momentanée que non, malgré les heures en moins, le niveau n’a pas baissé. Et ce sera peut-être le cas si l’élève découvre l’incomparable dictionnaire de synonymes en ligne du CNRS /CNRTL, et s’amuse ensuite à tout personnaliser. Elle obligera aussi l’élève à se concentrer non pas sur la technique mais sur sa pensée propre exprimée par des mots adaptés…»

Pour aller plus loin :

Dans la même rubrique

Les plus lus