Une étude montre les limites du moteur de recherche ChatGPT Search lancé il y a quelques semaines par OpenAI.
« Imprévisibles », « inexacts »… voilà les termes désignant les résultats du moteur de recherche intégré il y a peu à ChatGPT. Dans son étude, le Tow Center for Digital Journalism de l’université américaine de Columbia pointe les défaillances de l’outil lorsqu’il est utilisé pour se renseigner sur des sujets d’actualité.
Des certitudes qui n’en sont pas
ChatGPT Search, ou SearchGPT, est en quelque sorte la réponse d’OpenAI à Google. De plus en plus d’internautes utilisent l’intelligence artificielle pour obtenir des réponses à leurs questions. Par conséquent, l’IA se propose désormais de naviguer sur le Web à leur place et de leur fournir sur un plateau les réponses qu’ils recherchent.
Le problème, pointe l’université de Columbia, c’est l’assurance avec laquelle SearchGPT affiche ses résultats. Lorsqu’il s’agit de sujets d’actualité, ChatGPT va logiquement scroller sur le Web à la recherche d’articles de presse qui l’abordent. Toutefois, certains médias n’autorisent pas OpenAI à se servir dans leurs données… ce qui n’empêche pas ChatGPT d’entrer par la fenêtre.
Les chercheurs ont demandé à SearchGPT d’attribuer correctement 200 citations d’articles de presse à leurs auteurs respectifs. Quarante d’entre elles provenaient de sites qui bloquent l’accès de ChatGPT. L’outil s’est malgré tout plié à l’exercice, et a affirmé que certaines citations étaient signées de tel ou tel auteur, propageant dans la foulée de fausses informations.
Le doute n’existe pas
En creux, le problème est que l’intelligence artificielle, et en l’occurrence celle d’OpenAI, semble particulièrement embarrassée d’admettre qu’elle n’est pas sûre ou qu’il existe un doute sur la véracité de l’information partagée.
« Au total, ChatGPT a donné des réponses partiellement ou totalement incorrectes à 153 reprises, bien qu’il n’ait reconnu son incapacité à répondre avec précision à une requête que sept fois. Ce n’est que dans ces sept cas que le chatbot a utilisé des mots ou expressions de réserve comme “semble”, “il est possible” ou “pourrait”, ou des déclarations telles que “Je n’ai pas pu localiser l’article exact”. »
Columbia Journalism Review
Ce qu’il faut retenir, c’est donc que SearchGPT n’est pas un journaliste, et que sa fonction est de répondre à votre question, quoi qu’il en coûte.
La mise en perspective, le croisement des sources et le doute sont autant de fondements de la profession que l’IA ne possède pas, et qui risquent d’écorner davantage l’image du journalisme. Un journalisme qui, en ces temps où la post-vérité s’invite partout, a plus que jamais besoin d’être soutenu.
