Analyse comparative entre la génération automatique de questionnaires à choix multiples par ChatGPT et le corps enseignant pour l’évaluation de l’apprentissage

Résumé

Cette étude, menée auprès de personnes apprenantes de l’Université, examine l’intégration de ChatGPT-4 dans la création de questionnaires à choix multiples (QCM). Nous comparons les QCM générés par l’outil d’intelligence artificielle (IA) à ceux conçus par des enseignantes et nous analysons la qualité des distracteurs ainsi que les indices de difficulté. L’étude révèle que les QCM générés par l’IA obtiennent des taux de réussite élevés, mais présentent des distracteurs moins efficaces, limitant leur capacité à évaluer des compétences de réflexion analytique. Cette recherche souligne l’importance de l’intervention humaine pour garantir des QCM de qualité, tout en reconnaissant le potentiel de l’IA comme outil complémentaire.