À l’EPFL, ChatGPT répondrait juste à 85% des questions

Disponible à partir de fin 2022, ChatGPT a dépassé la barre des 100 millions d’utilisateurs en moins d’un mois. Depuis, l’IA s'est progressivement installée dans de nombreux foyers et entreprises. Or, jusqu’à présent, il n’y avait pas d’étude approfondie de l’impact potentiel des assistants IA sur les méthodes d’évaluation utilisées par les établissements d’enseignement.

Des chercheurs de l’EPFL ont donc mené une étude à grande échelle sur 50 cours de leur école. Ils font partie de neuf programmes en ligne, de Bachelor et de Master, et couvrent un vaste ensemble de disciplines. «Ces données ont été rassemblées dans un format qui, selon nous, ressemblerait le plus à la manière dont les étudiants les communiqueraient», explique Antoine Bosselut, responsable du Laboratoire de traitement du langage naturel (NLP) et membre du Centre IA de l’EPFL.

Les scientifiques ont utilisé huit stratégies de prompting (soit l'art de formuler ses demandes de façon à ce que l'intelligence artificielle comprenne parfaitement ce que l'on recherche) pour produire des réponses. Ils ont constaté que GPT-4 répond correctement en moyenne à 65,8% des questions et peut même fournir la bonne réponse dans au moins une stratégie de prompting pour 85,1% des questions. «Nous avons été surpris par les résultats. Personne ne s’attendait à ce que les assistants IA obtiennent un pourcentage aussi élevé de bonnes réponses dans autant de cours», indique Anna Sotnikova, scientifique au NLP et coauteure de la publication.

Les chercheurs ont ainsi théoriquement démontré la vulnérabilité des évaluations, face à l’utilisation des IA par les étudiants. Si ChatGPT est capable d’obtenir son diplôme d’ingénieur rien qu’en digérant les cours tels que les reçoivent les étudiants, qu’est-ce qui nous prouve que ceux-ci auront réellement les compétences académiques requises? «À court terme, nous devrions insister pour que les évaluations soient plus difficiles, non pas dans le sens de la difficulté des questions, mais dans le sens de la complexité de l’évaluation elle-même», suggère Antoine Bosselut, dans le communiqué paru ce vendredi.