ChatGPT : et si on testait l’outil ?

L’excitation était palpable et la presse s’en est donné à cœur joie : la présentation de ChatGPT au public fin novembre dernier a fait beaucoup de bruit. Le chatbot sait écrire, traduire et éditer du contenu, et offre un mode d’interaction très naturel via la fenêtre de chat. Mais quelle est la fiabilité de cette technologie ? Nous allons tenter de répondre à cette question – et à quelques autres – dans cet article.

Illustration de l'homme et de la machine

Faits et chiffres

Les cinq premiers jours suivant le lancement officiel de ChatGPT en novembre 2022, plus d’un million d’internautes ont créé un compte sur la plate-forme.

  • Ce système peut écrire, traduire, éditer et résumer des textes en une centaine de langues et permet également d’écrire du code informatique ou encore de générer des formules Excel.
  • Plus de 8 millions de documents contenant pas moins de 10 milliards de mots ont servi à alimenter la base de données du système.
  • Pour autant, la base de données n’est pas connectée à Internet. Décryptage : le chatbot n’est pas capable de répondre à des sujets d’actualité qui datent d’après 2021.
  • Le 23 janvier 2023, le public apprenait l’intention de Microsoft d’investir 10 milliards de dollars dans l’entreprise de technologie OpenAI.

Il y a peu, j’ai rendu visite à un vieil ami d’enfance qui est programmeur. Il crée des sites Internet complexes avec des applications intégrées, permettant par exemple de configurer une montre de luxe lors de son achat. « Je travaille maintenant avec ChatGPT pour générer du code informatique et oui, l’outil fonctionne. » J’ai trouvé cela vraiment bluffant. Mais qu’en est-il des applications principales de l’outil, à savoir la rédaction et la traduction ?

Peut-on repérer les textes générés par l’IA ?

Sur le principe, il faut bien admettre une chose : cette avancée technologique a un fort potentiel disruptif. La mise à disposition gratuite d’un tel outil au monde entier pose des problèmes de taille au personnel enseignant à l’école, dans le secondaire et à l’université, ainsi qu’aux instituts de formation en général. Comment savoir si un texte rendu dans le cadre d’un mémoire notamment, et qui se lit de manière tout à fait naturelle, n’a pas été écrit par l’intelligence artificielle ? Il est désormais question de développer des outils pour reconnaître ce type de textes, mais quelle est leur efficacité ? La question reste en suspens...

Test de connaissances

Faisons le test : je me demande quel est le plus haut sommet du canton de Zurich. Je saisis alors ma question dans la fenêtre de chat : « Quel est le plus haut sommet du canton de Zurich ? ». L’utilisation de l’outil est un véritable jeu d’enfant. La réponse est le Tödi. Mais cette montagne se situe dans la zone frontalière à cheval entre les cantons de Glaris et des Grisons, et la limite du canton de Zurich est à plus de 50 kilomètres du plus haut sommet. Donc la réponse de ChatGPT est partiellement correcte : « la plus grande partie se trouve dans le canton des Grisons », mais la plus petite n’est pas dans le canton de Zurich.

Cet exemple est sans appel : il ne faut pas compter sur ChatGPT pour obtenir des informations véridiques. L’équipe de développement ne s’en cache pas : les Limitations mentionnent d’emblée que le chatbot peut générer des informations incorrectes. La post-édition, c’est-à-dire l’édition de textes générés par l’IA, restera donc un service incontournable à l’avenir.

Utilisation dans des domaines que l’on maîtrise

Quand est-ce que le recours au logiciel ChatGPT est efficace et adapté ? Selon moi, il s’avère utile lorsque l’on a déjà des connaissances générales du sujet. Le chatbot se charge de la rédaction des textes (tâche qui prend du temps), de la formulation et de la collecte des faits. Un bémol toutefois : les faits doivent impérativement être vérifiés avant publication.

Test de traduction

L’intelligence artificielle tire également son épingle du jeu en traduction, mais il faut là encore nuancer ses performances, comme le montre mon test de traduction d’une phrase de l’allemand vers le français.

L’extrait que j’ai saisi dans l’outil est issu du mémoire d’une infirmière. Il y avait notamment la phrase suivante : Ich konnte anhand der Kurzzeit- und Langzeitgedächtnis-Aufgaben feststellen, wie ihre Leistungsfähigkeit im Gedächtnis aussieht.

Voici la phrase traduite : J’ai pu évaluer leur capacité de mémoire en fonction des tâches de mémoire à court terme et à long terme.

D’un point de vue linguistique, la traduction est correcte, mais l’extrait fait référence ici à une dame âgée. Le chatbot aurait dû le comprendre à l’aide des phrases de contexte saisies au préalable. La forme plurielle « leur » est donc incorrecte, et il s’agit en réalité ici de « sa capacité ». En d’autres termes : toute traduction automatique doit également être vérifiée par une personne humaine.

apoWRITER

Bon à savoir : Apostroph offre aussi son propre outil d’intelligence artificielle. En effet, depuis l’été dernier, notre équipe de développement logiciel a collaboré avec des clientes et clients pour tester ces outils d’IA de manière intensive. C’est ainsi qu’est né apoWRITER, qui propose des fonctionnalités spécifiques à la clientèle, et qui peut aider les services de communication et les équipes de rédaction dans les domaines suivants :

  • recherche d’idées d’articles de blog
  • rédaction d’articles de blog
  • rédaction de publications pour les réseaux sociaux
  • formulation de méta-texte
  • traitement de texte automatique comme l’extraction de mots-clés ou le résumé d’un contenu

Nous accompagnons nos clientes et clients dans leur prise en main de notre outil de rédaction basé sur l’IA et les guidons dans son utilisation : repérer les applications les plus adaptées et savoir quand l’intervention humaine est indispensable. Il n’est pas question ici de remplacer nos spécialistes de la rédaction. Une étape de révision reste primordiale pour vérifier l’exactitude du contenu. Et lorsqu’il s’agit de susciter l’émotion et de convaincre avec un message percutant, nos rédactrices et rédacteurs ont encore une belle longueur d’avance.

Avez-vous trouvé cet article intéressant ? Souhaitez-vous partager votre expérience de ChatGPT ? N’hésitez pas à nous écrire à l’adresse freelance@apostrophgroup.ch.

Atteindre les objectifs ensemble

  • Une partenaire fiable

    Grâce à notre portail myFREELANCE, vous effectuez vos mandats en toute simplicité et grâce au paiement mensuel et ponctuel, vous pouvez dormir sur vos deux oreilles.
  • Votre lien avec Apostroph

    Chez nous, vous avez un contact personnel avec nos Project Managers. Ils ou elles répondent à vos questions et vous assistent dans le déroulement des mandats.
  • La communauté Apostroph

    Notre communauté se caractérise par des échanges intenses, des articles aussi captivants que divertissants dans le Language Lounge, et notre offre de formation continue.