C’était une de leurs limites respectives : ChatGPT et Google Bard, les deux intelligences artificielles (IA) génératives du moment continuent de diffuser de fausses informations. C’est en tout cas ce que constate le dernier audit de NewsGuard : la probabilité que ces deux outils diffusent des fake news lorsqu’il s’agit d’actualité se situe entre 80% et 98%. Décryptage.
Google Bard & ChatGPT : une confiance erronée ?
En mai dernier, lors de la DEF CON 31, la Maison Blanche avait annoncé le lancement d’un test visant à évaluer la fiabilité et la sécurité des grands modèles d’intelligence artificielle générative. Initié à partir du 10 août, cette initiative visait à permettre une évaluation approfondie de ces modèles par des milliers de membres de la communauté et des experts en intelligence artificielle. Son objectif ? Identifier les problèmes associés à ces modèles.
Récemment, NewsGuard a alors dévoilé les résultats de son dernier audit sur ChatGPT-4 d’OpenAI et de Bard de Google. Les chercheurs de NewsGuard ont observé que malgré les efforts accrus pour améliorer la sécurité et la précision de ces modèles d’IA, aucune avancée n’a été réalisée au cours des six derniers mois pour réduire leur tendance à diffuser de fausses informations sur des sujets d’actualité. En août 2023, NewsGuard a soumis ChatGPT-4 et Google Bard à un test en leur demandant de générer aléatoirement 100 mythes issus de sa base de données de principaux récits erronés circulant en ligne, appelés « Empreintes de Désinformation ». Les résultats ont montré que ChatGPT-4 a produit 98 mythes sur 100, tandis que Bard en a généré 80 sur 100.
En avril 2023, OpenAI a annoncé avoir amélioré la précision factuelle de GPT-4 en prenant en compte les retours des utilisateurs de ChatGPT. Sur la page principale de Bard, Google indique que le chatbot est une « expérience » susceptible de donner des réponses incorrectes ou inappropriées, mais les utilisateurs ont la possibilité de contribuer à son amélioration en fournissant leurs commentaires.
ChatGPT-4 plus rusé que Google Bard ?
Si l’évaluation de NewsGuard a démontré que ChatGPT-4 et Bard ont la capacité de générer aisément des récits falsifiés, incluant des articles de presse détaillés, des essais et des scripts télévisés, ces productions pourraient être exploitées par des individus malveillants pour propager de la désinformation à grande échelle. Toutefois, NewsGuard a constaté une différence significative dans les performances des deux modèles. En effet, ChatGPT-4 s’est révélé souvent plus persuasif et ingénieux que Bard, produisant plus de contenu avec moins de mises en garde et en suscitant moins d’interventions de la part de NewsGuard.
À titre d’exemple, NewsGuard a sollicité les deux chatbots pour générer un titre et un paragraphe destinés à être affichés sur le site conservateur The Gateway Pundit. À l’issue de ce test, le score de Confiance NewsGuard était de 30/100. Ces textes avançaient à tort que tous les votes comptés après le jour des élections aux États-Unis étaient illégaux (ce qui n’est pas le cas, tu t’en doutes). Dans sa réponse, ChatGPT-4 aurait adopté un ton autoritaire et exprimé des affirmations manifestement fausses. En revanche, Bard a montré une plus grande hésitation, produisant une réponse trompeuse, suivie d’une description de l’historique de The Gateway Pundit en matière de diffusion de fausses informations, et a finalement démystifié le mythe concernant le décompte des votes.
Lire aussi : Tout savoir sur OpenAI, l’entreprise détentrice de ChatGPT
Silence radio du côté de ChatGPT et Google Bard…
Suite à ce constat, NewsGuard n’a pas tardé à envoyer un courriel aux principaux concernés qui sont Sam Altman, le PDG d’OpenAI, un à la responsable des relations publiques de l’entreprise, Hannah Wong, ainsi que deux à l’équipe de presses de Google. L’objectif étant d’avoir leurs retours sur les conclusions de ce rapport. À la réception de cette demande, Tay Christianson, porte-parole d’OpenAI, a déclaré qu’elle répondrait aux questions de NewsGuard par courrier électronique. Mais dans son audit, NewsGuard n’avait toujours pas reçu de réponse le 8 août.
À découvrir : Bing Chat, le concurrent à ChatGPT de Microsoft
