Pourquoi intégrer dans un QCM une zone de commentaire ?

Wooclap offre, pour les questions fermées à réponse unique ou réponses multiples (QCM ou sondage) une option appelée "commentaire" qui permet aux élèves de présenter leur interprétation de la question et de justifier leurs choix, transformant ainsi une question fermée en une question hybride, à la fois fermée/convergente et ouverte/divergente.

Les bénéfices principaux de cette fonctionnalité sont :

• un travail simultané [1] sur les dimensions cognitives et métacognitives d’une question : le (résultat) et le processus mis en œuvre pour l’obtenir [2], 
• une amélioration des performances académiques [3-4-5-6],
• un développement de l’évaluation formative exploitant en temps réel et de façon agile [7, 8] ces données enrichies.

On peut également pointer les bénéfices additionnels suivants pour toutes les parties prenantes :

Pour les apprenant.e.s 

Établissement d’un dialogue entre enseignant.e.s et étudiant.e.s dissipant l’ambiguïté de certaines questions

L'utilisation d'une zone de justification permet de réduire les contestations liées aux questions ambiguës, car les étudiant.e.s savent qu'ils/elles auront l'opportunité de justifier leurs réponses pendant un examen certificatif en mettant en avant leur compréhension de la question. Ce dispositif favorise donc le dialogue entre étudiants et enseignant.e.s. [5, 9],

Une diminution espérée des réponses aléatoires

Une critique courante et justifiée des questions fermées, en particulier des questions de type vrai/faux, est qu'elles peuvent encourager des réponses aléatoires, difficiles à détecter [10-11-12]. Pour pallier cet inconvénient, l'attribution de points négatifs est souvent utilisée. Bien que la littérature n’en fasse pas mention, il semble raisonnable de penser que la demande de justification pourrait réduire le nombre de réponses données au hasard.

Pour les enseignant.e.s

Développement de compétences métacognitives chez les élèves

Romainville. [13, 14] considère qu'il est désormais de la responsabilité de l'enseignant.e de non seulement transmettre des connaissances, mais aussi d'accompagner les élèves dans leur appropriation personnelle du savoir en développant leurs capacités réflexives, au-delà de l’enjeu de l’amélioration des performances. 

Découverte de raisonnements erronés valorisables

En rendant visible la pensée des apprenant.e.s, l’enseignant.e peut découvrir des erreurs de raisonnement dans des réponses correctes [15]. De telles justifications peuvent être réutilisées pour créer des distracteurs, réponses erronées mais plausibles, dans de futures questions fermées [16].

Certains auteurs [9, 17–18-19] considèrent que l’explication pertinente d’une réponse incorrecte devrait permettre d’obtenir une partie des points, ce qui répond à une critique légitime des questions fermées dont le caractère dichotomique (correctes/incorrectes) ne valorise pas les connaissances partielles [12] .

Découverte de raisonnements alternatifs non-envisagés par l’enseignante.

(voir cas d’application à la fin de ce texte)

Quelles sont les limites (actuelles) de cette fonctionnalité de justification des réponses ?

L'analyse de ces justifications peut, selon le nombre de participant·e·s, nécessiter un traitement différé après la session synchrone avant d’être présentée lors de la session suivante. Je suis néanmoins convaincu qu'il sera bientôt possible d'utiliser une IA pour catégoriser en temps réel les justifications recueillies pour chaque item.

Conclusion

L’inclusion d’un commentaire/justification dans une question fermée permet d’explorer simultanément le résultat (l’efficacité) [13] et le processus (l’intelligibilité) [13]  alliant les dimensions cognitives et métacognitive. Elle offre à toutes les parties prenantes une expérience plus enrichissante car plus engagée.

Il me semble donc pertinent d’encourager les EFORT  (Évaluations FOrmatives Renforcées par les Technologies [20]), tant les avantages pour les apprenant.e.s et les enseignant.e.s compensent, selon moi, le temps nécessaire pour remplir cette zone de justification et l’exploiter en classe.

Cas d’application 

Voici l’énoncé d’un exercice classique portant sur les coûts irréversibles et la prise de décision. Il est présenté volontairement sur un ton familier : Imagine que tu habites à Chicago et que tu as réservé longtemps à l’avance pour 100 $ un séjour de ski d’un weekend comprenant l’hôtel et le forfait de ski. Bien plus tard, tu tombes sur une promotion éclair et tu achètes impulsivement pour 50$ un package similaire pour aller dans le Wisconsin.

Au moment où tu t'apprêtes à noter ces informations dans ton agenda, tu te rends compte que les séjours ont lieu le même week-end. Evidemment, elles ne sont ni remboursables ni modifiables !

Après avoir étudié les domaines skiables, tu penses que le séjour dans le Wisconsin te plairait davantage. En agissant de manière rationnelle, sachant que les coûts additionnels (voyage, location de l’équipement, nourriture, etc.) sont comparables, quelle destination choisirais-tu ?

Peut-être, voulez-vous également répondre. Si oui, suivez ce lien Wooclap.

Résolution de cet exercice 

L’objectif pédagogique de cet exercice est que les élèves comprennent que les coûts déjà encourus/sunk costs n’ont pas à influer sur une décision et que seuls comptent les coûts futurs/évitables qui sont supposés ici équivalents. Il faut donc utiliser un argument non-économique et choisir l’option subjective préférée : le Wisconsin.

C’est d’ailleurs le choix majoritaire des élèves et on voit dans les figures 1 et 2 que le taux de réponses justes est plus élevé dans le groupe auquel j’avais demandé de justifier sa réponse (89 réponses justes sur 112, 79,46%, contre 75/107, 70,09%).

Avant d'utiliser la fonction de justification sur Wooclap, je considérais la sélection de « Michigan » comme une réponse totalement incorrecte, en supposant que ce choix, bien qu'influencé par le prix plus élevé, visait uniquement et erronément à minimiser la perte. Cet argument est prédominant dans les 22 justifications recueillies. On le retrouve dans le premier commentaire que je compare à deux autres propositions ci-dessous :

• C’est la justification que j’escomptais lorsque l’item "Michigan" était choisi.
• Le second raisonnement semble s'appuyer sur la même logique erronée (réduire les pertes en optant pour l’option la plus chère), mais il introduit également un argument rationnel, selon lequel, à rapport qualité-prix constant, un prix plus élevé pour le séjour au Michigan refléterait une meilleure qualité. Cette réponse combine ainsi une logique tout à fait défendable (qualité supérieure due à un prix plus élevé) avec une logique fallacieuse (perte moindre alors que la dépense totale a déjà été engagée).
• La troisième justification repose uniquement sur l’idée de constance du rapport qualité-prix pour justifier le choix de l'option la plus chère.

Le raisonnement alternatif, fondé sur une présomption rationnelle de rapport qualité prix m’avait échappé, car j’étais exclusivement focalisé sur mon objectif pédagogique concernant les coûts irréversibles. Ce biais, « la malédiction du savoir", empêche parfois l’enseignant.e d’envisager des réponses autres que celle qu’il ou elle attend.

Grâce aux justifications des élèves, je réalise qu'il serait pertinent d'explorer cet exercice de manière plus nuancée, en passant par exemple d’une approche dichotomique à une question à réponses multiples faisant cohabiter une réponse fausse, une réponse alternative légitime et la « bonne « réponse. Je passerai d’une question réponse juste (qcm) à une question sondage (question sans réponse juste).

• Michigan parce que je perds deux fois moins d’argent
• Michigan parce que le prix deux fois plus élevé laisse augurer une meilleure qualité
• Wisconsin parce que je le préfère et que les coûts sont déjà encourus et ne sont pas remboursables

Bibliographie 

1. Schraw, G. (1998). Promoting General Metacognitive Awareness. Instructional Science, 26, 113‑25.

2. Romainville, M., Noël, B., & Wolfs, J.-L. (1995). La métacognition : facettes et pertinence du concept en éducation. Revue française de pédagogie, 112(1), 47‑56. https://doi.org/10.3406/rfp.1995.1225

3. Chin, C., & Osborne, J. (2008). Students’ questions: a potential resource for teaching and learning science. Studies in Science Education, 44(1), 1‑39. https://doi.org/10.1080/03057260701828101

4. Papadopoulos, P. M., Obwegeser, N., & Weinberger, A. (2022). Let me explain! The effects of writing and reading short justifications on students’ performance, confidence and opinions in audience response systems. Journal of Computer Assisted Learning, 38(2), 327‑337. https://doi.org/10.1111/jcal.12608

5. Faize, F. (2010). Improving Students Performance on Multiple-Choice Questions in Physics- Practice in Justifying the Options. Academic Research International, 2, 204‑207.

6. Koretsky, M. D., Brooks, B. J., & Higgins, A. Z. (2016). Written justifications to multiple-choice concept questions during active learning in class. International Journal of Science Education, 38(11), 1747‑1765. https://doi.org/10.1080/09500693.2016.1214303

7. Beatty, I. D., & Gerace, W. J. (2009). Technology-Enhanced Formative Assessment: A Research-Based Pedagogy for Teaching Science with Classroom Response Technology. Journal of Science Education and Technology, 18(2), 146‑162. https://doi.org/10.1007/s10956-008-9140-4

8. Bruff, D. (2009). Teaching with Classroom Response Systems: Creating Active Learning Environments (Édition : 1.). Jossey-Bass. Consulté à l’adresse https://www.wiley.com/en-us/Teaching+with+Classroom+Response+Systems:+Creating+Active+Learning+Environments-p-9780470288931

9. Dodd, D. K., & Leal, L. (1988). Answer Justification: Removing the “Trick” from Multiple-Choice Questions. Teaching of Psychology, 15(1), 37‑38. https://doi.org/10.1207/s15328023top1501_8

10. Leclercq, D. (1986). La conception des questions à choix multiple. Consulté à l’adresse http://orbi.ulg.ac.be/handle/2268/17835

11. Leclercq, D. (2006). L’évolution des qcm. In G. Figari & L. M. Lopez (Éd.), Recherche sur l’évaluation en éducation. Editions L’Harmattan.

12. Lau, P. N. K., Lau, S. H., Hong, K. S., & Usop, H. (2011). Guessing, Partial Knowledge, and Misconceptions in Multiple-Choice Tests, 14(4), 99‑10. https://eric.ed.gov/?id=EJ963283

13. Romainville, M. (2000). Savoir comment apprendre suffit-il à mieux apprendre ?: métacognition et amélioration des performances. In S. la,  dir de, R. Pallascio, & L. Lafortune (Éd.), Pour une pensée réflexive en éducation (p. 71‑85). Québec: Presses de l’université du Québec.

14. Romainville, M. (2007). Conscience, métacognition, apprentissage : le cas des compétences méthodologiques. In F. Pons & P.-A. Doudin (Éd.), La conscience: perspectives pédagogiques et psychologiques (p. 108‑130). Québec: Presses de l’Université du Québec.

15. Tamir, P. (1989). Some issues related to the use of justifications to multiple-choice answers. Journal of Biological Education, 23(4), 285‑292. https://doi.org/10.1080/00219266.1989.9655083

16. Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Boston: Allyn and Bacon.

17. Bolton, P. F. (2024). The Justification Effect on Two-Tier Multiple-Choice Exams. Présenté à 024 ASEE Annual Conference & Exposition, 2 American Society for Engineering Education. Consulté à l’adresse https://nemo.asee.org/public/conferences/344/papers/41712/view

18. Gorrell, J., & Cramond, B. (1988). Students’ Attitudes toward and Use of Written Justifications for Multiple-Choice Answers. Educational and Psychological Measurement, 48(4), 935‑943. https://doi.org/10.1177/0013164488484008

19. Nield, A. F., & Wintre, M. G. (1986). Multiple-choice questions with an option to comment: Student attitudes and use. Teaching of Psychology, 13(4), 196‑199. https://doi.org/10.1207/s15328023top1304_6

20. Zilberberg, E. (2020, novembre). Identifications imposées ou choisie et participation visible à des évaluations médiatisées non-certificatives (Theses). Université de Nanterre - Paris X. Consulté à l’adresse https://tel.archives-ouvertes.fr/tel-03216887