Une étude révèle que les programmes informatiques conçus pour détecter les contenus générés par l’intelligence artificielle classent fréquemment à tort des essais rédigés par des humains comme étant générés par cette technologie.
Capables de rédiger des contenus, résoudre des problèmes ou encore générer du code informatique, les robots conversationnels comme ChatGPT inquiètent de nombreux enseignants. Cela, car ils sont utilisés par des étudiants, notamment pour rédiger leurs devoirs à leur place. L’arrivée de programmes informatiques capables de détecter les contenus générés par l’intelligence artificielle (IA) est ainsi vue comme une « contre-mesure essentielle pour dissuader “une forme de tricherie du 21ème siècle” » par les enseignants, indiquent des chercheurs dans une étude publiée lundi dans la revue Patterns.
Ils avertissent cependant que les affirmations selon lesquelles ces détecteurs sont précis à 99% sont « au mieux trompeuses », révélant que ces programmes peuvent discriminer les personnes dont la langue maternelle n’est pas l’anglais.
Pénalisation par inadvertance
Les chercheurs sont arrivés à ce constat en soumettant une centaine d’essais en anglais écrits par des personnes dont l’anglais n’est pas la langue maternelle à sept détecteurs GPT populaires. Rédigés pour le Test d’anglais langue étrangère (TOEFL), plus de la moitié de ces essais ont été identifiés à tort comme étant générés par l’IA. Un des détecteurs a même signalé près de 98% d’entre eux comme générés par l’IA. À l’inverse, lorsque ces essais ont été écrits par des élèves dont l’anglais est la langue maternelle, ils ont été identifiés à plus de 90% comme étant rédigés par des humains.
Selon les chercheurs, cette discrimination est liée à la manière dont les détecteurs évaluent ce qui est humain et ce qui est généré par l’IA. Ces systèmes examinent ce qu’on appelle la « perplexité du texte », une mesure de la « surprise » ou de la « confusion » d’un modèle de langage lorsqu’il essaie de prédire le mot suivant dans une phrase. Si le modèle y parvient facilement, la perplexité du texte est considérée comme faible. Dans le cas contraire, elle est considérée comme élevée. Les modèles de langage étant entraînés pour produire du texte à faible perplexité et la plupart des détecteurs GPT utilisant cette mesure pour identifier ces contenus, les personnes dont la langue maternelle n’est pas l’anglais et dont les compétences linguistiques sont limitées pourraient être pénalisées par inadvertance. Cela, car elles sont plus susceptibles d’utiliser des mots simples.
De graves répercussions pour les étrangers
Les chercheurs ne se sont pas arrêtés là. Après avoir mis en évidence le biais dans les détecteurs d’IA, ils ont demandé à ChatGPT de réécrire les essais en utilisant un langage plus sophistiqué. Soumis aux détecteurs, ces derniers ont été identifiés comme écrits par des humains. « Paradoxalement, les détecteurs GPT pourraient obliger les rédacteurs étrangers à utiliser davantage GPT pour échapper à la détection », ont ainsi indiqué les chercheurs.
« Les répercussions des détecteurs GPT pour les écrivains étrangers sont graves, et nous devons y réfléchir pour éviter les situations de discrimination », ont-ils aussi averti. Ces systèmes pourraient par exemple faussement signaler les candidatures à l’université ou à des emplois comme étant générés par l’IA. Ils pourraient également marginaliser les personnes dont l’anglais n’est pas la langue maternelle sur Internet vu que les moteurs de recherche rétrogradent les contenus considérés comme étant générés par l’IA. « Dans l’éducation, sans doute le marché le plus important pour les détecteurs GPT, les étudiants étrangers courent plus de risques de fausses accusations de tricherie, ce qui peut nuire à la carrière universitaire et au bien-être psychologique d’un étudiant », ont déclaré les chercheurs.
Ils émettent plusieurs recommandations pour assurer une utilisation responsable des détecteurs GPT, dont une évaluation plus complète de ces programmes, avec divers échantillons d’écriture reflétant l’hétérogénéité des utilisateurs pour atténuer les risques d’erreurs résultant d’une détection biaisée.
