Depuis son lancement, le ChatGPT d’OpenAI est devenu un sujet de préoccupation pour les établissements d’enseignement du monde entier, car les étudiants ont commencé à l’utiliser pour rédiger des dissertations et tricher aux évaluations. Étant donné l’aspect naturel du texte généré par le chatbot, les enseignants ont du mal à déterminer si le travail des étudiants est original.
Pour aider les enseignants à évaluer les travaux des étudiants, un diplômé en informatique a mis au point un outil appelé GPTZero, qui permet de déterminer si un texte a été généré artificiellement. Cet article explique comment fonctionne l’outil, comment l’utiliser et s’il peut détecter un contenu généré par l’IA.
Qu’est-ce que GPTZero et comment fonctionne-t-il ?
GPTZero est un outil d’analyse de texte développé par Edward Tian, diplômé en informatique, pour aider les enseignants à distinguer un texte plagié d’un travail original. L’outil vérifie la perplexité et l’éclatement d’un texte pour déterminer s’il est généré artificiellement ou s’il a été rédigé par un humain.
Sans entrer dans les détails, voyons ce que ces termes signifient :
- Perplexité est une mesure du caractère aléatoire d’un texte dans le cadre du traitement du langage naturel (NLP). Un texte écrit par un humain a tendance à être moins structuré et plus imprévisible, de sorte que sa valeur de perplexité devrait être plus élevée, tandis qu’un texte généré par l’IA devrait avoir un faible score de perplexité.
- Burstiness (éclatement) prend en compte d’autres variables non prises en compte dans la perplexité afin d’améliorer l’analyse de texte. Ce terme fait référence à l’apparition d’éléments non communs dans des groupes aléatoires. Les textes générés par l’IA tendent à avoir une structure plus cohérente que les textes écrits par des humains. L’éclat nous aide à l’identifier.
GPTZero Classic est accessible au public depuis le début de l’année 2023, et son utilisation est gratuite depuis mars 2023. Cependant, la version gratuite a une limite de 5000 caractères par document, et vous ne pouvez analyser que trois documents à la fois.
GPTZero propose deux versions premium pour répondre aux besoins des éducateurs et des utilisateurs qui souhaitent analyser des millions de mots par mois : GPTZero Educator et GPTZero Pro. La limite de caractères par document est plus élevée dans les versions premium que dans la version gratuite, et elles permettent d’analyser un nombre illimité de fichiers en mode batch.
Suivez les étapes suivantes pour vous abonner à ces versions premium :
- Allez sur le tableau de bord de GPTZero.
- Connectez-vous avec votre compte existant ou créez un nouveau compte.
- Après vous être connecté, vous pouvez passer à la version premium de votre choix.
Comment utiliser GPTZero pour détecter les textes générés par l’IA
Contrairement à ChatGPT, aucune inscription n’est nécessaire sur GPTZero. Vous pouvez simplement accéder à l’outil via le site web. Voyons comment vous pouvez y accéder et l’utiliser :
- Allez sur GPTZero.
- Copiez et collez le texte que vous souhaitez analyser dans la boîte ou téléchargez un fichier.
- Cochez la case à côté de J’accepte les conditions d’utilisation.
- Cliquez sur l’icône Obtenir les résultats boîte.
Une fois l’analyse terminée, GPTZero vous indiquera si le texte a été écrit par un humain ou s’il a été généré par une intelligence artificielle.
GPTZero peut-il reconnaître correctement un texte généré par une intelligence artificielle ?
Pour tester la précision avec laquelle GPTZero détecte les textes générés par l’IA, nous allons analyser trois textes dans l’outil : un texte généré par l’IA, un texte écrit par un humain et un texte généré par l’IA qui a été paraphrasé par un autre outil. Voyons comment GPTZero réagit à chaque entrée.
Nous inclurons les instructions sur la manière dont nous avons effectué ces tests afin que vous puissiez les exécuter vous-même.
1. L’analyse de textes générés par l’IA dans GPTZero
Pour analyser le texte généré par l’IA, commençons par générer le texte à l’aide de ChatGPT, un chatbot d’IA alimenté par la technologie GPT. Pour ce faire, suivez les étapes suivantes :
- Allez sur OpenAI.
- Cliquez sur l’icône Essayez ChatGPT bouton.
- Se connecter ou s’inscrire pour un compte.
- Entrez n’importe quelle invite pour générer un texte.
- Copier le texte généré par l’outil une fois qu’il est terminé.
- Analysez le texte dans GPTZero, comme nous l’avons expliqué précédemment.
Vous pouvez également utiliser d’autres outils d’écriture d’IA pour générer le texte que vous souhaitez analyser.
GPTZero a renvoyé la sortie suivante lorsque nous avons analysé le texte généré par l’IA dans l’outil :
Étant donné que le texte a été généré par l’IA, GPTZero a correctement prédit qu’il est probable qu’il ait été généré par l’IA. Pour rendre le test plus difficile, nous avons paraphrasé le texte généré par ChatGPT.
2. Analyse d’un texte paraphrasé généré par l’IA dans GPTZero
Vous pouvez choisir parmi des centaines d’outils de paraphrase pour paraphraser le texte. Dans le cas présent, nous avons utilisé Scribbr. Si vous souhaitez utiliser le même outil, suivez les étapes suivantes :
- Allez sur Scribbr.
- Copiez le texte généré par l’IA que nous avons analysé dans GPTZero et collez-le dans l’outil.
- Cliquez sur le bouton Paraphrase bouton.
- Laissez Scribbr paraphraser le texte pour vous.
- Exécuter à nouveau le test GPTZero après la paraphrase.
Voici le résultat de GPTZero lorsque nous avons analysé le texte paraphrasé généré par l’IA :
Une légère paraphrase a rendu difficile pour GPTZero de déterminer si le texte est entièrement généré par l’IA.
3. L’analyse du contenu écrit humain dans GPTZero
Dans certains cas, des outils comme GPTZero renvoient des résultats faussement positifs, c’est-à-dire qu’ils considèrent que quelque chose est incorrect alors que ce n’est pas le cas. Pour déterminer si GPTZero produit également des faux positifs, nous avons effectué trois tests dans l’outil, en analysant trois textes différents écrits par des êtres humains.
Sur ces trois tests, l’outil a renvoyé un faux positif en déclarant qu’un texte original avait été généré par l’IA ; une fois, il n’a pas réussi à tirer une conclusion, et une fois, il a correctement identifié le texte comme étant écrit par un être humain.
Si vous souhaitez tester un contenu écrit par un être humain, vous pouvez soit le copier à partir d’une source authentique, soit rédiger vous-même quelques paragraphes.
Faut-il faire confiance aux résultats de GPTZero ?
D’après nos tests, il peut être risqué de se fier uniquement aux résultats de cet outil. En fait, un avertissement apparaît chaque fois que vous générez un résultat à l’aide de l’outil, qui avertit les éducateurs de ne pas se fier aux résultats de cet outil.
Ainsi, à moins que le développeur de l’outil ne garantisse que ses résultats sont infaillibles, les éducateurs ne devraient pas s’y fier totalement. Pourquoi ? Parce qu’il serait injuste qu’un étudiant reçoive une mauvaise note simplement parce que GPTZero a retourné un faux positif.
Les tests ci-dessus ont été effectués en février 2023. GPTZero est un outil relativement nouveau pour l’instant, sa précision peut donc évoluer avec le temps.
Ne vous fiez pas toujours aux résultats de la détection de l’IA
En tant qu’antidote potentiel à la technologie GPT d’OpenAI, GPTZero a un grand potentiel ; cependant, il n’en est qu’à ses débuts. À ce stade, il n’est pas entièrement digne de confiance. Mais la version principale de GPTZero sera-t-elle capable de surmonter toutes les limitations et d’attraper le contenu de l’IA avec précision ? Pour le savoir, il faudra attendre.
En plus de donner aux étudiants une nouvelle raison de tricher aux évaluations, ChatGPT représente également une menace sérieuse pour la cybersécurité.
