Banque de questions
La forme de relecture a été utilisée par les enseignants et étudiants sur une période de deux mois (Printemps 2015) consacrée à la qualification de la banque de questions. L'outil de différentiel n'a en revanche pas été utilisé suite aux modifications. Nous avons observé un panel de 1094 questions (chiffres de décembre 2015), destinées aux tests de positionnement pour les spécialités Maths, Physique, Chimie et SVT.
cycle de vie | questions commentées | total (questions commentées ou non) |
état "validé" | 465 | 1008 |
état "rejeté" | 35 | 69 |
état "brouillon" | 3 | 3 |
sans état | 0 | 14 |
total | 503 | 1094 |
Les 503 questions commentées comportent un total de 881 fils de discussions. Une analyse "manuelle" du contenu de ces commentaires nous a permis de recenser plusieurs mots-clés permettant de décrire l'activité des enseignants et étudiants lors de cette phase de relecture :
Mot-clé | Fréquence (en nombre de fils de discussion) | Description |
remplacer | 92 | commentaires dans lesquels le relecteur précise la modification à intégrer |
ajouter | 58 | |
supprimer | 17 | |
équipe technique | 41 | commentaires adressés à l'équipe technique, portant typiquement sur une image à agrandir, un formule Latex à revoir, etc. |
faute(s) de frappe faute(s) d'orthographe | 25 | correction orthographique |
exposant | 23 | commentaires soulignant qu'un nombre devrait être écrit en exposant (indice, puissance...) |
corrigé | 84 | commentaires confirmant l'intégration d'une modification (appelant en général à la clôture du fil de discussion) |
explication | 41 | commentaires portant sur les explications locales (associées aux réponses individuelles) ou bien globales (associées à l'ensemble de la question) |
Nous classons les six premiers mots-clés dans la catégorie des commentaires "performatifs", c'est-à-dire des commentaires décrivant explicitement l'action à entreprendre sur le contenu. Ces mots-clés sont représentés dans au moins 92 fils de discussion (en effet, plusieurs de ces mots-clés peuvent apparaître dans un même fil de discussion), soit dans une part significative. D'après nous, cela peut expliquer le fait que le différentiel n'ait pas été nécessaire dans cette expérimentation : la trace du fil de discussion (demande explicite de modification, généralement suivie d'un commentaire "corrigé") est suffisante pour valider la modification.
Les fils de discussion comportant le mot-clé "explication" (41 au total) nous intéressent particulièrement, car ils justifient selon nous le choix de modélisation consistant à afficher les explications à la suite des questions, et non après validation du questionnaire. Concernant l'affichage des réponses, nous n'avons pas trouvé de mot-clé permettant d'évaluer la quantité de commentaires concernés. Un exemple isolé nous a néanmoins permis de constater l'intérêt de ce choix : dans un QCM où une seule bonne réponse était indiquée, deux étudiants ont commenté l'énoncé ("Parmi les propositions suivantes, laquelle ou lesquelles sont vraies ?") en suggérant de le modifier ou bien de transformer la question en un QCU.
Concernant l'autre élément de modélisation que nous avions mis en avant, à savoir la suppression de la sélection aléatoire des questions dans la forme de relecture, les données que nous avons ne nous permettent pas d'évaluer quantitativement cet aspect (ie. savoir si cela a permis de commenter plus de questions) : la seule donnée que nous avons est celle du nombre de questions commentées par rapport au nombre total de questions du panel observé, soit un taux d'environ 46%. D'un point de vue plus qualitatif en revanche, il semble assez évident que cette solution permet un gain de temps par rapport au fait de conserver la sélection aléatoire : celle-ci aurait en effet amené les enseignants et étudiants à relire plusieurs fois les groupes de quiz afin d'être certains d'avoir couvert toutes les questions.