Noter les éléments manuellement
TAO Grader est un module complémentaire de la suite de produits TAO qui permet la notation manuelle des questions ouvertes. Elle est effectuée à la volée : lorsque le candidat a terminé un test, les réponses aux questions qui nécessitent une notation manuelle sont envoyées à TAO Grader. Une fois que les scores ont été soumis par les évaluateurs manuels pour toutes les réponses d'une session de test particulière (c'est-à-dire une exécution de livraison), ils sont renvoyés à TAO, où ils seront affichés sur la page des résultats TAO pour ce test.
Dès qu'un candidat a soumis un test et que la notation automatique de toutes les questions pertinentes a été effectuée, la page des résultats pour cette livraison TAO affichera les scores de ces questions. Les colonnes de score de tous les items marqués comme nécessitant une notation manuelle seront cependant toujours vides.
À ce stade, TAO transmet les items restants à TAO Grader pour qu'il les note. Les deux plateformes sont totalement intégrées, il n'est donc pas nécessaire d'extraire les réponses qui doivent être notées manuellement du fichier CSV des résultats d'une livraison TAO : tout se fait automatiquement.
Note : TAO Grader est uniquement disponible pour les clients Ignite et Enterprise.
Pour s'assurer que les réponses des participants au test sont traitées correctement, les éléments de test concernés doivent être configurés pour une notation manuelle lors de la création de l'élément. Pour ce faire, suivez les étapes ci-dessous.
1. Indiquez que la question doit être notée manuellement.
Cliquez sur Déclarations de résultats dans le panneau Propriétés de la réponse, à droite de l'élément. Le(s) résultat(s) de votre élément apparaîtra(ont), comme dans l'image ci-dessous. Cliquez sur l'icône d'édition à droite d'un résultat pour ouvrir les valeurs qui lui sont associées. Le premier résultat listé pour cette question du test (c'est-à-dire le premier aspect de la réponse qui doit être noté) est le CHOIX DE MOT.
La première valeur est Interprétation - le nom du résultat. Il s'agit du nom qui sera affiché à la personne qui effectue la notation manuelle. Dans l'exemple ci-dessous, il s'agit de Choix de mots.
Dans le menu déroulant sous Notation externe, schoisissez Humain.
Cette valeur indique le type de notation qui est nécessaire pour ce résultat particulier (dans ce cas, la notation par un humain), donc l'élément sera envoyé à TAO Grader pour une notation manuelle.
2. Ajouter une description des critères de notation.
Le correcteur manuel doit savoir quel système de notation utiliser pour l'item (ou le résultat) en question. Cela se présente sous la forme d'une rubrique qui contient les critères de notation que vous souhaitez utiliser et à laquelle on accède par un lien vers un fichier PDF hébergé..
Dans la case intitulée Interprétation longue, ajoutez un lien vers le fichier PDF hébergé qui contient la rubrique de notation. Ce fichier sera accessible ultérieurement par le correcteur.
3. Définissez la fourchette de score.
Saisissez la plage (par exemple, 1-4) dans la case intitulée Valeur.
Il est possible de définir des plages différentes, pour autant que les règles suivantes soient respectées : les deux valeurs minimum et maximum doivent être définis, en utilisant uniquement des nombres entiers. Le site maximum ne doit pas être négatif et doit être supérieur au minimum.
Note : Pour que les réponses d'un élément soient "éligibles" pour une notation manuelle, il doit y avoir une plage de score valide sous "Valeur", et "humain" doit être sélectionné dans la case "externalScored".
Remarque : si une question comporte plus d'un résultat (c'est-à-dire si différents aspects d'une réponse se voient attribuer des scores distincts, ce qui signifie que plusieurs scores sont nécessaires pour une question), la méthode de notation doit être configurée pour chacun d'eux. Ceci est décrit comme une "notation multi-traits" sur la plate-forme de notation manuelle. Dans l'exemple de l'image ci-dessus, deux autres aspects de cet élément de test sont visibles : Compréhension et Mécanique.
4. Définissez la catégorie de sujet de votre article.
La catégorie de sujet d'un élément doit être définie. Cela permet de s'assurer qu'il est attribué à un évaluateur approprié dans les cas où les évaluateurs sont affectés sur la base de la catégorie de sujet des éléments. (L'affectation des évaluateurs en fonction de la catégorie de sujet n'est qu'une des deux options. Voir le chapitre Création d'un projet de notation dans la section TAO Grader pour plus de détails sur les stratégies d'affectation disponibles). détails sur les stratégies d'affectation disponibles).
Cela se fait dans les propriétés de la section de test en question (cela peut également être défini pour des items individuels - c'est-à-dire que chaque item peut être classé différemment, dans les propriétés de l'item). Voir l'image ci-dessous pour un exemple.
Cliquez sur les paramètres de la zone du test que vous souhaitez définir (les boutons en haut, ou les boutons à côté de la partie du test, de la section ou de l'élément, selon le cas). Dans le panneau des propriétés à droite, cliquez sur Catégories. Saisissez la catégorie de sujet dont vous avez besoin pour le test, la section ou l'élément actuel. Chaque catégorie de sujet doit commencer par "x-tao-scoring" et se terminer par le sujet, qui peut être n'importe quoi. Les catégories possibles sont x-tao-scoring-anglais, x-tao-scoring-mathou x-tao-scoring-biologiepar exemple.
5. Visualisez les éléments notés manuellement dans le TAO.
Après que les éléments pertinents de la livraison aient été notés manuellement dans TAO Grader et que les scores aient été envoyés à TAO (en règle générale, les scores sont envoyés à TAO lorsque toutes les réponses ont été notées pour une exécution de livraison donnée)vous pouvez rafraîchir votre page de résultats dans TAO.
Les notes attribuées manuellement apparaîtront dans le tableau des éléments - à la fois la note globale de l'élément et les notes attribuées à des aspects particuliers (résultats) de l'élément.. La note globale du test peut maintenant être calculée, en utilisant la méthode de notation qui a été configurée dans le TAO pour ce test.
