Débusquer l’IA derrière les textes que vous lisez

Est-ce que cet article a été écrit par une intelligence artificielle ? Est-ce que des portions de cet article ont été écrites par une IA ? Difficile, voire impossible, de le savoir. Depuis fin 2022, et l’introduction de ChatGPT puis des autres IA génératives qui ont suivi, ces outils sont devenus si performants qu’ils posent de véritables défis en termes de confiance envers les textes qu’on lit.

Si les détecteurs automatiques de « AI copywriting » ne sont pas fiables à 100 %, ils sont néanmoins capables de jeter un premier regard sur un texte pour identifier les preuves les plus flagrantes d’une intervention non humaine dans la rédaction. Pour le reste, il va falloir apprendre à aiguiser notre propre radar interne pour séparer le bon grain de l’ivraie. Voici quelques indices qui vous permettront d’identifier si un texte a été créé ou modifié à l’aide d’une IA… ou de cacher les traces les plus visibles si vous ne voulez pas que ça se sache.

Des IA pas réellement intelligentes, mais très fortes en prédiction

La première chose est de bien comprendre comment fonctionne une intelligence artificielle. À l’heure actuelle, les IA n’ont d’« intelligent » que le nom. Ce sont des algorithmes prédictifs très bien entraînés. Cela signifie que ces « modèles de langage » ont appris à analyser les relations entre les mots pour prédire les réponses les plus probables. Un peu comme nous apprenons des expressions par cœur sans forcément en connaître la signification précise ou l’origine.

Qu’y a-t-il de plus probable après « poser un » ? Ce sera « lapin ». Et après « Mettre de l’eau dans », ce sera « son vin ». Selon un contexte donné, une IA va calculer le mot suivant le plus probable dans une phrase en s’appuyant sur les centaines de millions de documents écrits (voire plus) qu’on lui a fournis. Le hic est que le résultat n’est pas toujours très cohérent… ou que l’IA accumule les banalités.

Exemple de texte IA de ce type : « Le réchauffement climatique est un problème majeur qui affecte tout le monde. Il faut agir immédiatement pour sauver la planète. Chacun doit faire sa part en réduisant sa consommation d’énergie et en recyclant plus. »

Repérer les incohérences flagrantes

Les IA sont souvent entraînées sur des documents en anglais. Elles se débrouillent plutôt bien en traduction, mais leurs textes en français gardent parfois des tournures de phrases très anglaises. Le risque aussi avec ces IA génératives qui reposent sur la prédiction, c’est, on l’a dit, d’aboutir à des textes finalement assez superficiels et qui multiplient les généralités, voire les banalités. C’est du générique, mais si on gratte sous la surface, il n’y a pas de fond. De même, ces textes créés par IA peuvent manquer de cohérence et de fluidité. Après tout, une intelligence artificielle ne verra pas vraiment de problème à aligner des phrases sans réel rapport entre elles ou qui se contredisent d’un paragraphe à l’autre.

Exemple de texte IA de ce type : « L’intelligence artificielle transforme notre monde. L’intelligence artificielle change la façon dont nous travaillons. L’intelligence artificielle modifie notre façon de vivre. Il est important de comprendre l’impact de l’intelligence artificielle sur notre société. »

Les IA n’évaluent pas toujours ce qu’elles produisent dans leur globalité, mais plutôt par morceaux. C’est aussi pour cela que vous verrez souvent des répétitions, que ce soit dans les idées ou dans les mots. Même chose dans la structure du texte ou dans les formulations que l’IA a parfois tendance à utiliser un peu trop souvent. Enfin, un texte trop lisse, trop « propre sur lui » peut aussi être le signe qu’il est le fruit d’une machine à qui on a demandé un peu trop de peaufiner les phrases.

En écriture, tout est dans la nuance

Les IA ont aussi tendance à écrire de manière un peu trop directe quand il s’agit d’avancer des arguments, de tenter de convaincre. Un peu comme un ado sans filtre et qui aurait du mal à gérer ses émotions, l’IA générative aura des difficultés à exprimer des sentiments complexes et à faire preuve de subtilité dans l’argumentation.

A contrario, elle peut aussi avoir tendance à utiliser des tournures de phrase un peu trop ampoulées ou des circonvolutions très marquées pour exposer des choses assez simples au départ. Autant d’indices pour repérer l’intervention de l’IA.

Exemple de texte généré par IA : « L’éducation est essentielle pour le succès de chacun. Elle ouvre de nombreuses portes. Avec une bonne éducation, on peut avoir un bon emploi et gagner plus d’argent. L’éducation permet aussi de devenir une meilleure personne. Grâce à elle, on apprend à penser de manière critique. Tous les enfants devraient avoir accès à une éducation de qualité. C’est la clé pour construire un monde meilleur. »

Les méthodes pour détecter l’intervention d’une IA

Il existe des outils qui vous promettent une sorte de « scoring », de notation, pour estimer la probabilité qu’un texte ait été généré par IA. On peut par exemple citer QuillBot, Smodin ou encore Neural Writer. La plupart du temps, une fois le texte copié-collé dans l’interface, ces outils vous livrent la probabilité que le texte ait été généré par IA ou encore la proportion du texte qui pourrait avoir été créée par une machine. Mais ces évaluations sont peu fiables.

Nous avons soumis un texte entièrement écrit par un humain et il a été évalué à 85 % « rédigé par l’homme ». À l’inverse, des résumés de documents entièrement créés par IA ont été évalués à 70 % « homme made ». Cependant, cela peut être un bon indicateur et certains outils, comme Plagiarismcheck, vous permettront aussi de détecter les copieux sans vergogne. Car, avant l’IA, il y avait aussi le bon vieux copier-coller. Et celui-ci n’a pas disparu !

Rien ne vaut donc l’instinct humain pour faire la différence. L’instinct… soutenu par quelques conseils frappés au coin du bon sens. Voici trois éléments à scruter pour voir si « IA un doute à avoir ».

• Analysez le style et le vocabulaire en recherchant les incohérences dans le style (très formel, puis plus du tout, par exemple). Scrutez aussi le vocabulaire : des mots trop complexes pour être crédibles, des répétitions flagrantes ? Méfiance.
• Vérifiez les faits et les sources. C’est le gros défaut des IA génératives à l’heure actuelle. Elles n’ont pas leur pareil pour inventer une citation, attribuer le mauvais chiffre ou la mauvaise année et imaginer des sources (y compris quand elle fournit les liens !). À vous donc de détecter ce qu’on appelle des « hallucinations ». Surveillez aussi les affirmations non étayées ou encore les infos non vérifiables (car imaginées de toute pièce).
• Examinez le contexte et la cohérence globale. Si vous ne leur demandez pas spécifiquement, les IA ne vont pas d’elles-mêmes prendre du recul sur un texte généré pour voir s’il n’y a pas de contradiction ou des incohérences. De même, certains contextes appellent à un ton ou un style d’écriture que l’IA ne va pas toujours respecter. Ou alors qu’elle va respecter seulement sur une partie des phrases. Pour un œil humain, cela sautera aux yeux, pour une IA, ce n’est pas certain. Du moins pour l’heure. Ce ne sera peut-être plus vrai dans quelques mois tant ces outils progressent vite. Et, tout comme les machines, nous ne sommes pas infaillibles.

L’important est donc de rester vigilant. Dans certains cas, la génération par IA n’est pas forcément un problème (réponse à un mail, extraction de données simples d’un long document, résumé d’une réunion, etc.). Là où c’est davantage problématique est si aucune relecture et correction humaines ne sont appliquées derrière. Faire une confiance aveugle aux IA serait une réelle erreur. Et, dans ce contexte, cultiver notre sens critique demeure plus crucial que jamais.