Utilisation de ChatGPT comme Assistant de Reporting : Qu'est-ce qui a Mal Tourné ?

Bonjour, lecteurs !

\ En ce qui concerne les développements en intelligence artificielle, les choses évoluent rapidement. Cela fait moins de deux ans que la sortie publique d'outils d'IA comme ChatGPT, Midjourney, Stable Diffusion et LLaMA de Meta. Les régulateurs, législateurs et entreprises commencent tous à comprendre les implications de l'utilisation d'outils d'IA générative.

\ Cela inclut les organisations de presse et les journalistes, qui ont déjà commencé à expérimenter. Le Nieman Journalism Lab a rapporté que 5 des 45 finalistes non annoncés pour les prix Pulitzer de cette année ont utilisé l'IA pour « rechercher, rapporter ou raconter leurs soumissions ». Lors de la conférence annuelle NICAR sur le journalisme de données d'Investigative Reporters & Editors à Baltimore la semaine dernière, 14 des plus de 200 sessions étaient liées à l'IA, discutant de la manière dont la technologie peut aider les journalistes avec les flux de travail, résumer des documents denses et déboguer leur code.

\ J'en ai eu une moi-même, une session intitulée « Utiliser les outils d'IA pour le journalisme de données » dans laquelle j'ai commencé par examiner les nombreux outils disponibles et souligné les nombreuses préoccupations éthiques à leur sujet.

\ Ensuite, j'ai montré les résultats de mon expérience chronophage d'utiliser ChatGPT 4 comme assistant pour rapporter une histoire. Alerte spoiler : Cela ne s'est pas très bien passé !

\ L'exemple d'histoire que j'ai utilisé pour cet exercice était le déraillement de train à East Palestine, OH en février 2023, une histoire majeure qui impliquait divers types de données que je pouvais demander à ChatGPT d'aider à analyser. Pour être clair, ce n'était pas une histoire sur laquelle j'avais reporté, mais je voulais essayer d'utiliser ChatGPT de la manière dont un journaliste de données pourrait le faire en la couvrant. J'ai passé BEAUCOUP de temps à discuter avec ChatGPT dans le cadre de cet exercice et, franchement, parfois c'était épuisant. Vous pouvez lire l'une de mes sessions de chat ici. La confiance que ChatGPT dégage en fournissant des informations mal sourcées (comme Wikipédia) ou des emplacements imprécis peut être erroné. Parfois, j'ai pu amener l'agents d'IA à me donner ce que je voulais, mais je devais être très précis et je devais souvent le réprimander.

\ Par exemple, lorsque ChatGPT a satisfait ma demande de « générer une carte simple centrée sur l'emplacement de l'accident », j'ai immédiatement remarqué que l'épingle sur la carte était loin de toute voie ferrée. Quand j'ai demandé où il avait obtenu les coordonnées du prix de l'emplacement de l'accident, il a répondu que celles-ci étaient « déduites sur la base de la connaissance générale de l'emplacement de l'événement ». Quand je l'ai pressé pour une citation plus précise, il n'a pas pu en fournir une, et continuait à répéter qu'il s'appuyait sur la « connaissance générale ». J'ai dû rappeler à l'outil que je lui avais dit au début du chat qu'« il est crucial que vous citiez vos sources et utilisiez toujours les sources les plus faisant autorité ». Avant qu'il ne soit finalement capable de marquer l'emplacement correct, j'ai dû lui rappeler qu'il pouvait obtenir les coordonnées du prix d'emplacement à partir d'un document faisant autorité que j'avais téléchargé plus tôt dans le chat, un PDF du rapport d'incident de la Federal Railroad Administration.

\ L'extraction d'informations et le résumé de longs documents sont souvent cités parmi les plus grandes forces d'outils comme ChatGPT. Mes résultats ont été mitigés. Après quelques échanges, j'ai persuadé l'agents d'IA d'extraire les détails et les quantités des produits chimiques dangereux qui ont été libérés dans l'accident et de formater les informations dans un tableau listant le nom du produit chimique, la quantité libérée, à quoi il est généralement utilisé et ses effets sur la santé humaine. Mais cela a pris quelques essais. Là où il a économisé du temps, c'était en expliquant des informations spécialisées qui auraient autrement pris une recherche Google chronophage pour comprendre—comme le décryptage des numéros de wagons de chemin de fer.

\ Parfois, l'outil était trop désireux de plaire, alors je lui ai demandé de se calmer un peu : « Vous pouvez sauter le bavardage et les plaisanteries ». Les utilisateurs peuvent demander au bot de changer le ton ou le style de leurs réponses, mais lui dire qu'il est un avocat ne le rend pas plus précis.

\ Dans l'ensemble, les sessions ont été beaucoup de travail pour essayer de comprendre où l'agents d'IA a obtenu ses informations, et le rediriger avec des instructions précises. Cela a pris beaucoup de temps.

\ L'entreprise qui fabrique ChatGPT, OpenAI, n'a pas répondu à une demande de commentaire.

\ Sur la base de mes interactions, de loin les capacités les plus utiles de ChatGPT sont sa capacité à générer et déboguer du code de programmation. (À un moment donné pendant l'exercice d'East Palestine, il a généré un code Python simple pour créer une carte du déraillement.) Lorsqu'il répond à une demande d'écrire du code, il explique généralement son approche (même si ce n'est peut-être pas la meilleure), et montre son travail, et vous pouvez le rediriger pour suivre une approche différente si vous pensez que son plan n'est pas ce dont vous avez besoin. La capacité d'ajouter continuellement aux fonctionnalités de votre code pendant que l'agents d'IA conserve le contexte et l'historique de ce dont vous avez discuté peut vraiment vous faire économiser une tonne de temps, évitant des recherches minutieuses de publications sur un problème similaire sur StackOverflow (l'une des plus grandes communautés de codage en ligne).

\ L'exercice NICAR m'a laissé des préoccupations concernant l'utilisation d'outils d'IA générative pour le travail précis du journalisme de données. Le fait qu'un outil aussi puissant que ChatGPT ne puisse pas produire un « reçu » de comment exactement il sait quelque chose va à l'encontre de tout ce pour quoi nous sommes formés en tant que journalistes. Je m'inquiète également des petites salles de rédaction en sous-effectif qui dépendent trop de ces outils alors que l'industrie de l'information lutte contre les licenciements et les fermetures. Et lorsqu'il y a un manque de directives de la direction de la salle de rédaction concernant l'utilisation de ces outils, cela pourrait conduire à des erreurs et des inexactitudes.

\ Heureusement, de nombreuses salles de rédaction ont commencé à aborder certaines de ces préoccupations en rédigeant des politiques d'IA pour aider leurs journalistes et leurs lecteurs à comprendre comment ils prévoient d'utiliser l'IA dans leur travail.

\ The Markup a suivi l'exemple d'autres organisations de presse, et la semaine dernière, nous avons mis à jour notre politique d'éthique avec une section détaillant nos règles pour toute utilisation de l'IA dans notre travail. En résumé, elle dit :

• Nous ne publierons pas d'histoires ou d'œuvres d'art créées par l'IA (sauf si cela fait partie d'une histoire sur l'IA)
• Nous étiquetterons ou divulguerons toujours son utilisation
• Nous vérifierons toujours rigoureusement notre travail, et cela s'applique certainement à tout ce qui est généré par l'IA
• À l'avenir, nous évaluerons les considérations de sécurité, de confidentialité et d'éthique de tous les nouveaux outils d'IA

\ Merci d'avoir lu, et vérifiez toujours tout ce qu'un chat bot vous dit !

\ Jon Keegan

Journaliste de données d'investigation

The Markup

Crédits

• Jon Keegan, Journaliste de données d'investigation

Design et graphiques

• Gabriel Hongsdusit

Engagement

• Maria Puertas

Édition

• Ryan Tate
• Michael Reilly

\ Également publié ici

\ Photo par Valery Tenevoy sur Unsplash

\