cha-mono

  1. Home
  2. /
  3. Mythes sur l’IA et les cours…

Mythes sur l’IA et les cours d’histoire

Quelle que soit votre approche de l’IA, commencez par vous informer sur ce qu’elle peut faire.

Au cours des deux dernières années, j’ai étudié la manière dont l’IA générative pouvait être utilisée dans la recherche historique et dans nos salles de classe. L’une des principales constatations que j’ai faites est que la plupart des gens n’en savent pas assez sur les capacités et les limites réelles de l’IA pour prendre des décisions éclairées sur la manière de l’aborder en classe. Il faut partir du principe que les choses évoluent si rapidement qu’il est impossible de déduire les capacités actuelles à partir de connaissances datant de plus de quelques semaines. C’est difficile à comprendre pour la plupart des gens dans une discipline où il faut parfois des années pour qu’un livre passe du stade de manuscrit à celui de livre. Mon objectif ici est de dissiper certains des mythes les plus répandus sur l’IA qui sont pertinents pour les historien·ne·s et de fournir quelques idées sur la façon d’aborder l’IA dans les cours d’histoire.

Mythe 1 : L’IA hallucine trop pour être utile

Toute conversation sur l’IA en classe doit commencer par une reconnaissance inconfortable : bien qu’elle soit loin d’être parfaite, l’IA générative est aujourd’hui plus précise et plus fiable que ce que les médias et les expert·e·s voudraient vous faire croire. Il est vrai qu’à l’hiver 2022, si l’on demandait à la version libre de ChatGPT 20 livres et articles évalués par des pairs sur le Canada et la Première Guerre mondiale (ou tout autre sujet historique), seuls quatre ou cinq d’entre eux seraient corrects. Les autres semblaient plausibles mais étaient entièrement fabriqués.

Aujourd’hui, si vous posez la même question à l’un des modèles de pointe – Claude Sonnet-3.5 d’Anthropic ou o1 d’OpenAI – ils peuvent systématiquement citer 20/20 dans le style Chicago. Le nouvel agent Deep Research d’OpenAI (à ne pas confondre avec Deepseek… les conventions de dénomination posent un réel problème car elles sont confusément similaires) peut même localiser ces sources sur Internet, les lire et les citer avec précision dans un essai. C’est effrayant et, à moins que vous ne mettiez constamment à jour AI X, vous n’avez peut-être même pas idée que c’est possible. Mais vos étudiant·e·s, eux et elles, le savent. Nous ne sommes tout simplement pas habitués à ce que les choses changent aussi radicalement et aussi rapidement.

Mythe 2 : L’IA ne peut pas écrire ou raisonner au niveau humain

Lors de mes propres tests, j’ai constaté que les modèles les plus récents – en particulier les raisonneurs comme o1-pro et Deep Research d’OpenAI – sont à peu près aussi compétents sur des tâches telles que l’analyse de documents, l’interprétation historique et les revues de littérature qu’un·e bon·ne candidat·e au doctorat. C’est une grande affirmation, je le sais, et un énorme changement par rapport à il y a quelques années, mais cela correspond à la recherche qui montre que les LLM sont maintenant meilleurs que la plupart des humains, y compris les expert·e·s du domaine, dans une gamme de tâches hautement spécialisées nécessitant un raisonnement.

Il suffit de regarder cet exemple d’article historiographique que j’ai fait produire par le Deep Research de l’OpenAI, comparant et opposant les approches canadiennes et américaines du commerce des fourrures. Bien qu’il soit indéniablement bon, vous remarquerez peut-être que de nombreuses citations renvoient à des sites web plutôt qu’à des sources réelles. Si c’est le cas aujourd’hui, rappelez-vous que ce n’est qu’une question de semaines ou de mois avant qu’il ne soit possible d’accéder aux sources elles-mêmes. OpenAI prévoit de fournir à son modèle de recherche agentique Deep Research l’accès à des sources académiques payantes ainsi qu’à des ressources d’utilisateur·ice·s dans un avenir très proche.

Ne me croyez pas sur parole. Le nouveau modèle o3 d’OpenAI obtient 87 % à un test conçu par les meilleur·e·s expert·e·s en chimie, en biologie et en physique, alors que ces mêmes expert·e·s humain·e·s n’obtiennent que 65 % (ou 74 % lorsqu’ils et elles sont autorisé·e·s à corriger les erreurs évidentes). Dans une autre étude récente, on a demandé à 50 médecins humain·e·s de diagnostiquer une maladie à partir d’études de cas cliniques réels et ils et elles n’ont eu raison que dans 76 % des cas, alors que le GPT-4 a obtenu 92 %. Oui, c’est loin d’être parfait, mais nous devons aussi nous rappeler que les humains font des erreurs – et apparemment plus que les meilleurs systèmes d’IA.

Mythe 3 : vous reconnaîtrez l’écriture artificielle lorsque vous la verrez

C’est aussi la raison pour laquelle, quoi que vous ayez entendu, il est impossible de détecter avec précision les textes rédigés par l’IA. De nombreuses études montrent aujourd’hui que les détecteurs automatiques d’IA ne fonctionnent pas, en particulier pour les articles rédigés par les modèles les plus récents. Alors que nous pourrions penser que nous pouvons faire mieux, les études montrent à plusieurs reprises que les éducateur·ice·s humain·e·s sont en fait encore plus mauvais·e·s : nous n’avons tendance à avoir raison qu’entre la moitié et les deux tiers du temps, ce qui n’est pas beaucoup mieux que le hasard. Dans l’ensemble, il se peut que nous manquions jusqu’à 94 % de l’écriture de l’IA. Cela ne signifie pas que vous ne réussirez pas parfois, mais vous ne saurez pas combien d’articles vous manquez.

L’IA et la salle de classe

C’est la raison pour laquelle de nombreuses personnes ont décidé d’interdire l’IA, mais je ne suis pas sûr que cela soit faisable. Des entreprises comme ProQuest et JSTOR commencent à intégrer les LLM dans leurs produits, tandis qu’Adobe, Microsoft et Google les ont déjà intégrés dans Acrobat, Word et Docs. Les archives commencent également à les utiliser dans leurs projets de numérisation.

Le fait est que les LLM sont partout et que nous ne pouvons pas faire comme si ce n’était pas le cas. Les étudiant·e·s vont vouloir les utiliser parce qu’ils et elles savent qu’ils sont utiles. Leur dire le contraire serait malhonnête alors que des études récentes suggèrent que plus de 75 % des gens les utilisent déjà dans des emplois impliquant le traitement et l’analyse de l’information.

À quoi ressemble l’adoption de l’IA dans les cours d’histoire ?

Nous sommes tous en train de découvrir ces choses et c’est très bien ainsi. Malgré l’intérêt que je porte à cette technologie, j’adopte en fait une approche intermédiaire de l’IA dans mes cours d’histoire.

Tout d’abord, je continue à demander des travaux de recherche et des analyses de documents, mais je pars du principe que les étudiant·e·s utiliseront l’IA d’une manière ou d’une autre. Il peut s’agir de les aider à identifier des sources, à élaborer un plan ou à affiner leur thèse. En fait, je les encourage à « texter » avec un LLM au sujet de leurs projets et je leur donne des conseils pour qu’ils et elles jouent en quelque sorte le rôle de tuteur·ice·s.

Les LLM sont également d’excellents réviseurs. Les étudiant·e·s qui ont du mal à exprimer leurs idées dans une prose claire et convaincante peuvent demander à un LLM de réviser leur travail, paragraphe par paragraphe. Ce que la plupart des gens ignorent, c’est que si vous demandez à un LLM de réviser ou de condenser quelque chose, il n’insère généralement pas de nouvelles idées ou de nouveaux arguments, mais se contente de réviser la prose. Il expliquera également pourquoi il a fait les changements qu’il a apportés. À mon avis, c’est la même chose que d’encourager les étudiant·e·s à se rendre au centre de rédaction. Cela reflète également le fait que de nombreux·ses étudiant·e·s avaient l’habitude de demander à un·e ami·e, à un·e parent ou à un·e tuteur·ice de remplir la même fonction. Étant donné que la version gratuite de ChatGPT est désormais très performante pour ces tâches, l’IA permet d’égaliser les chances, en particulier pour les étudiant·e·s du FLS ou pour ceux et celles qui ont des besoins en matière d’accessibilité.

Pour moi, l’essentiel est d’enseigner aux étudiant·e·s à être responsables du contenu de leur travail. Toute citation incorrecte, toute erreur de citation ou tout élément de preuve mal compris peut donner lieu à une mauvaise note, pour de vrai. En fait, je pense que l’IA nous oblige à placer la barre plus haut : il n’y a tout simplement plus d’excuse pour toute une série de choses que nous avions l’habitude de tolérer. L’utilisation correcte de l’IA devrait permettre d’éliminer les erreurs susmentionnées, tandis que les thèses mal rédigées, les arguments non étayés et les documents narratifs dépourvus d’argumentation devraient appartenir au passé. Il en va de même pour les erreurs grammaticales et stylistiques. Dans un sens très réel, cela reflète les attentes du futur lieu de travail de l’IA : nos étudiant·e·s devront utiliser l’IA pour améliorer leur travail et seront par conséquent tenus à un niveau plus élevé. La nouvelle barre sera, en fait, le résultat de référence d’un modèle pour la même tâche. Il en ira sans doute de même pour les étudiant·e·s des programmes aux cycles supérieurs et les historien·ne·s professionnel·le·s.

Bien que je sois favorable à l’IA dans de nombreux domaines, je pense également que la connaissance du contenu, du processus et de la méthodologie est essentielle. Pour des raisons évidentes, je pense que c’est important pour les historien·ne·s en général, mais je pense aussi que ce sera essentiel dans un monde amélioré par l’IA. À cette fin, j’ai toujours des examens manuscrits en personne, même dans les cours d’humanités numériques que j’enseigne sur l’IA générative en particulier. Je suis menuisier à mon temps libre et je sais que pour utiliser une machine-outil, il faut d’abord comprendre ce qu’elle automatise et comment la même opération pourrait être réalisée sans elle. Sinon, des problèmes conceptuels fatals peuvent rapidement survenir et je pense qu’il en va de même pour l’histoire et le travail de la connaissance en général.

Pour les historien·ne·s, la connaissance et la mémorisation du contenu factuel vont également, peut-être paradoxalement, devenir plus importantes dans un avenir où nous devrons nous élever au-dessus de la barre de l’IA. Il ne s’agit pas seulement de détecter les hallucinations de l’IA, mais aussi d’être capable de discerner les « bons » résultats des mauvais. Vous ne vous souciez peut-être pas personnellement de l’enseignement des compétences professionnelles, et c’est probablement une bonne chose : le lieu de travail de l’IA nous obligera à redoubler d’efforts pour les choses auxquelles les historien·ne·s accordent déjà de la valeur. Et tout cela exige que nous testions les étudiant·e·s dans un environnement où nous pouvons évaluer leurs compétences et leurs connaissances indépendamment des outils électroniques qu’ils et elles sont normalement censé·e·s utiliser.

Conclusion

La technologie qui sous-tend l’IA générative peut être terrifiante parce qu’elle remet en question un grand nombre des hypothèses que nous faisons sur le caractère unique de notre expertise ainsi que sur le temps et les efforts nécessaires pour faire ce que nous faisons. Mais je pense que nous devrions avoir la confiance nécessaire pour relever ces défis, car je crois aussi que l’histoire écrite par les humain·e·s a encore de l’importance. Plus j’en apprends sur l’IA, plus je me rends compte que les compétences nécessaires pour l’utiliser efficacement sont en fait les mêmes que celles que nous avons toujours prétendu enseigner. Traditionnellement, nous enseignons aux étudiant·e·s à réfléchir de manière critique sur le passé, à formuler des questions de recherche claires, à y répondre par des recherches approfondies et ouvertes, et à construire des arguments fondés sur des preuves tout en s’efforçant de minimiser les préjugés. Ces compétences vont devenir encore plus importantes dans un monde où l’IA peut être utilisée pour accélérer ce processus. Savoir quelles questions poser, comment concevoir une stratégie de recherche et comment évaluer les preuves et les arguments restera essentiel, que vous pensiez que l’IA transformera la société ou qu’elle se réduira à une simple gêne.

________________________

Mark Humphries a écrit sur la santé publique, la Première Guerre mondiale et le commerce des fourrures dans l’histoire du Canada. Il est professeur au département d’histoire de l’Université Wilfrid Laurier, où il travaille actuellement sur l’application de l’IA à la recherche historique. Il écrit sur l’IA, la recherche et l’enseignement sur un Substack intitulé Generative History : https://generativehistory.substack.com/.