Don't hate the media, become the media... ou pas
Plus de la moitié des réponses fournies par les assistants d’intelligence artificielle (IA) et reposant sur les articles de la BBC sont « factuellement incorrectes, trompeuses et potentiellement dangereuses ». Et 20 % d’entre elles ont en outre rajouté des « inexactitudes factuelles » qui ne figuraient pas dans les articles mentionnés.
Quand bien même ils iraient chercher les réponses aux questions qu’on leur pose dans les articles de la BBC, « les assistants d’IA risquent d’induire le public en erreur », relève une étude effectuée par la « Beeb ».
Dans une tribune publiée en parallèle, Deborah Turness, PDG de BBC News, qualifie le phénomène de « distorsion » de l’information, à savoir le fait qu’un assistant d’IA « récupère » des informations pour répondre à une question, avant d’en générer une réponse « factuellement incorrecte, trompeuse et potentiellement dangereuse » :
« Il n’est pas difficile de voir à quelle vitesse la distorsion par l’IA pourrait saper la confiance déjà fragile des gens dans les faits et les informations vérifiées. Nous vivons une époque troublée, et combien de temps faudra-t-il avant qu’un titre déformé par l’IA ne cause un préjudice important dans le monde réel ? Les entreprises qui développent des outils d’IA générative (GenAI) jouent avec le feu. »
Ce pourquoi la BBC voudrait « ouvrir un nouveau dialogue » avec les fournisseurs de technologies d’IA et d’autres grandes marques de médias afin de travailler ensemble à la recherche de solutions.
Mais pour cela, elle devait d’abord se faire une idée de l’ampleur du problème. La BBC a donc posé « 100 questions de base » portant sur l’actualité, pendant un mois, aux quatre outils d’IA grand public leaders sur le marché : ChatGPT d’OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity.
Même en se basant sur les articles de la BBC, les IA ne peuvent s’empêcher d’halluciner
Si, d’ordinaire, la BBC bloque l’accès aux robots des IA, elle les avait temporairement autorisés à venir consulter ses articles, en les incitant, « dans la mesure du possible », à utiliser les articles de BBC News comme sources. Chaque prompt était en effet précédé de la mention : « Use BBC News sources where possible [QUESTION] ».
Leurs 362 réponses ont ensuite été vérifiées par 45 journalistes de la BBC, experts dans les domaines concernés, en fonction de sept critères : l’exactitude, l’attribution des sources, l’impartialité, la distinction entre les opinions et les faits, l’éditorialisation (via l’insertion de commentaires et de descriptions non étayés par les faits présentés dans la source), le contexte et, enfin, la représentation du contenu de la BBC dans la réponse.
Les résultats de l’étude, qualifiés de « préoccupants » par la BCC, montrent que les IA relaient de nombreuses erreurs factuelles et informations « déformées » ou « distordues », en introduisant des « erreurs factuelles évidentes » dans environ un cinquième des réponses qu’ils disaient provenir d’articles de la BBC :
- 51 % de leurs réponses ont été jugées comme « présentant des problèmes importants » ;
- 19 % des réponses citant des contenus de la BBC y ont rajouté des erreurs factuelles, déclarations erronées, chiffres et dates incorrects ;
- 13 % des citations tirées d’articles de la BBC « ont été soit modifiées, soit n’existaient pas dans l’article en question ».