La notation des tests

Les résultats d'un test sont déterminés par la performance de l'élève aux différentes questions du test. Les scores individuels des items peuvent être comptabilisés selon différentes méthodes pour produire le résultat final du test. Ce chapitre montre comment configurer les règles de notation du test et calculer les déclarations de résultats (c'est-à-dire définir les critères de notation).

Pour plus d'informations sur les règles de notation utilisées pour les éléments, voir Notation automatique des éléments et Notation manuelle des éléments.

La méthode de notation à employer pour un test spécifique est définie après la création de ce test, avant qu'il ne puisse être utilisé dans une évaluation. Il existe quatre options :

calculer un score basé sur le rapport entre les réponses correctes et incorrectes ;
générer un PASS ou un FAIL ;
appliquer une méthode qui est définie en externe (et importée) ;
ne pas calculer de score du tout

Suivez les étapes ci-dessous pour configurer la méthode de notation de votre choix.

1. Après avoir créé votre test en sélectionnant les éléments qui doivent y figurer, survolez les roues dentées situées juste en dessous de la barre d'action, en haut du coin droit du Canvas, et vous verrez l'option Gérer les propriétés du test. Cliquez sur cette option et les propriétés générales du test s'afficheront dans le panneau de droite, y compris les propriétés de notation.

2. Cliquez sur le bouton Notation.

Il existe quatre méthodes de notation d'un test, ou "traitement des résultats" comme on l'appelle dans QTI. Entrez votre choix parmi les quatre options ci-dessous dans Traitement des résultats:

Aucun: Si cette option est sélectionnée, toutes les règles de notation existantes seront supprimées. Dans ce cas, aucun score de test ne sera généré. Les scores des éléments individuels du test peuvent être extraits en cliquant sur Résultats, ou sur l'API QTI Résultats. Utilisez cette option si vous n'avez pas besoin de résultats de test agrégés ou si vous souhaitez effectuer un traitement personnalisé des résultats en dehors du TAO.
Personnalisé: Cette option n'est applicable que lorsqu'un test avec des règles de traitement personnalisées est importé - c'est-à-dire que les règles de traitement sont définies en dehors de TAO. Un écran "Modifier la règle de traitement" s'affiche lorsque vous sélectionnez "personnalisé". Ici, sélectionnez votre règle de notation (externe) qui indique comment vous souhaitez que les réponses des candidats à l'item soient traitées. Un exemple d'application des règles de traitement personnalisées est la prise en compte d'interactions multiples (dans le même élément). Vous pouvez spécifier, par exemple, que si le candidat effectue correctement l'interaction A ou l'interaction B - mais pas les deux - il reçoit la moitié de la note (la moitié du MAX_SCORE calculé). Vous pouvez personnaliser les règles de traitement à cet effet.
Score total. Si vous choisissez cette méthode, tous les scores de toutes les parties du test seront additionnés et des variables de résultat seront générées pour le score du candidat (SCORE_TOTAL), le score maximum de tous les items (SCORE_TOTAL_MAX) et le ratio de réponses correctes (SCORE_RATIO).

Score de coupure: Si vous choisissez cette option, un point de coupure pour la réussite du test sera fixé. Saisissez le score qui doit être utilisé comme point de coupure dans la case Score de coupure. Il s'agit d'un ratio du score total. Une variable PASS est alors générée, indiquant si l'étudiant a réussi le test. Lorsque l'option "Score par catégorie" est activée (voir ci-dessous), des variables PASS sont générées pour toutes les catégories, en utilisant le même point de coupure.

Si vous choisissez l'une de ces dernières méthodes(score total ou score de coupure), certaines informations supplémentaires peuvent être requises, selon la manière dont vous souhaitez configurer le test.

3. Définir différentes catégories pour votre test.

Une case à cocher pour Category Score apparaîtra. Si votre test contient différentes catégories, la case Category Score doit être sélectionnée, afin que les scores puissent être calculés pour chaque catégorie séparément.

Pour affecter vos éléments à des catégories distinctes, cliquez sur l'icône de paramètres à droite d'un élément. Dans le volet des propriétés situé à droite, saisissez le nom de la catégorie à laquelle vous souhaitez affecter cet élément dans le champ de la catégorie.

4. Définir les pondérations des éléments de votre test.

Différentes pondérations peuvent être attribuées aux différents éléments du test, en fonction de leur contribution au score final du test. Pour attribuer un poids, cliquez sur l'icône de paramètres à droite de l'élément pour lequel vous souhaitez ajouter un poids. Le panneau des propriétés de l'élément s'ouvre sur la droite.

Sous Weights, sélectionnez un identifiant de poids et une valeur pour cet élément. L'identificateur fait référence au schéma de pondération que vous choisissez pour le test. Par défaut, il s'agit de 'WEIGHT', mais si vous souhaitez utiliser différents schémas de pondération dans différents scénarios de test, vous devrez en définir un autre.

La valeur correspond à la pondération que vous souhaitez attribuer à cet élément. Par exemple, si vous saisissez un poids de 2, le score de cet élément est multiplié par 2 lors du calcul du score final du test. Si, pour un élément du test, il n'y a pas de définition de poids au niveau de l'élément, le moteur de notation prend la valeur par défaut = 1.

Remarque : il est possible de définir différentes pondérations pour le même élément (dans différents schémas de pondération), puis de choisir entre elles pour différents scénarios de test. Cela peut être utile si, par exemple, un test couvre différents sujets et que, dans un test particulier, un certain sujet est considéré comme plus important que les autres. Pour ce faire, cliquez sur "Ajouter un nouveau poids" sous le poids original.

Lorsque les métadonnées d'un élément sont insérées, elles sont automatiquement transférées dans les catégories de cet élément. Les catégories peuvent également être gérées manuellement.

5. Cliquez sur le bouton Déclarations de résultats.

Les déclarations de résultats sont directement liées aux règles de notation que vous avez choisies ci-dessus ; la liste des variables de résultats générées est la suivante :

Si vous avez sélectionné Aucun comme méthode de traitement des résultats, toutes les variables de résultats sont supprimées.
Si vous avez sélectionné Score total comme méthode de traitement des résultats, des variables de résultats sont générées pour calculer les scores totaux.
Si vous avez sélectionné Cut score, comme méthode de traitement des résultats, les variables de résultats sont générées pour calculer les scores totaux et les variables qui sont vérifiées par rapport au cut-score qui a été défini (généralement succès/échec).
Si une PONDÉRATION a été appliquée, des variables de résultat supplémentaires sont générées pour calculer les scores pondérés.

Note : Les résultats sont générés automatiquement, mais dans les rares cas où cela ne se produit pas, les valeurs peuvent être générées à l'aide du bouton "régénérer".

La configuration des règles de notation du test est maintenant terminée.