TAO Grader est un complément à la suite de produits TAO qui fournit une notation manuelle pour les questions ouvertes. Il est exécuté à la volée : lorsque le testeur a terminé un test, les réponses aux questions nécessitant une notation manuelle sont envoyées au TAO Grader. Une fois que les notes ont été soumises par les correcteurs manuels pour toutes les réponses d'une session de test particulière (c'est-à-dire une exécution de livraison), elles sont renvoyées au TAO, où elles seront affichées sur la page des résultats du TAO pour ce test.
Dès qu'un candidat a soumis un test et que la notation automatique de tous les items pertinents a été effectuée, la page des résultats pour cette livraison du TAO affichera les scores de ces items. Les colonnes de score des items marqués comme nécessitant une notation manuelle resteront cependant vides.
À ce stade, TAO transmet les items restants à TAO Grader pour qu'il les note. Les deux plateformes sont totalement intégrées, il n'est donc pas nécessaire d'extraire les réponses qui doivent être notées manuellement du fichier CSV des résultats d'une livraison TAO : tout se fait automatiquement.
Note : TAO Grader est uniquement disponible pour les clients Ignite et Enterprise.
Pour s'assurer que les réponses des participants au test sont traitées correctement, les éléments de test concernés doivent être configurés pour une notation manuelle lors de la création de l'élément. Pour ce faire, suivez les étapes ci-dessous.
1. Indiquez que l'item doit être noté manuellement.
Cliquez sur Déclarations derésultats dans le panneau Propriétés de la réponse, à droite de l'élément. Le(s) résultat(s) de votre élément s'affiche(nt), comme dans l'image ci-dessous. En cliquant sur l'icône d'édition à droite d'un résultat, vous ouvrirez les valeurs qui lui sont associées. Le premier résultat listé pour cet élément du test (c'est-à-dire le premier aspect de la réponse qui doit être noté) est le COEUR DE MOT.
La première valeur est Interprétation - le nom du résultat. C'est le nom qui sera affiché à la personne chargée de la notation manuelle. Dans l'exemple ci-dessous, il s'agit du choix des mots.
Dans le menu déroulant sous External Scored, sélectionnez Human.
Cette valeur indique le type de notation nécessaire pour ce résultat particulier (dans ce cas, la notation par un humain), l'élément sera donc envoyé au TAO Grader pour une notation manuelle.
2. Ajouter une description des critères de notation.
Le correcteur manuel doit savoir quel système de notation utiliser pour l'item (ou le résultat) en question. Ce système est présenté sous la forme d'une grille d'évaluation qui contient les critères de notation que vous souhaitez utiliser et qui est accessible via un lien vers un fichier PDF hébergé.
Dans la case intitulée Interprétation longue, ajoutez un lien vers le fichier PDF hébergé qui contient la grille d'évaluation. Le correcteur y accèdera ultérieurement.
3. Définir la fourchette de score.
Saisissez l'intervalle (par exemple, 1-4) dans la case intitulée Valeur.
Il est possible de définir différentes plages, à condition de respecter les règles suivantes : le minimum et le maximum doivent être définis en utilisant uniquement des nombres entiers. Le maximum ne doit pas être négatif et doit être supérieur au minimum.
Note : Pour que les réponses d'un élément soient "éligibles" pour une notation manuelle, il doit y avoir une plage de score valide sous "Valeur", et "humain" doit être sélectionné dans la case "externalScored".
Remarque : si un item a plus d'un résultat (c'est-à-dire si différents aspects d'une réponse se voient attribuer des scores distincts, ce qui signifie que plusieurs scores sont nécessaires pour un item), la méthode de notation doit être configurée pour chacun d'entre eux. C'est ce qu'on appelle la "notation multi-traits " sur la plateforme de notation manuelle. Dans l'exemple de l'image ci-dessus, deux autres aspects de cet élément de test sont visibles : Compréhension et Mécanique.
4. Définissez la catégorie de sujet de votre article.
La catégorie de sujet d'un élément doit être définie. Cela permet de s'assurer qu'il est attribué à un évaluateur approprié dans les cas où les évaluateurs sont assignés sur la base de la catégorie de sujet des éléments. (L'affectation des évaluateurs en fonction de la catégorie de sujet n'est qu'une des deux options possibles. Voir le chapitre Création d'un projet de notation dans la section sur le TAO Grader pour plus de détails sur les stratégies d'affectation disponibles).
Cela se fait dans les propriétés de la section de test en question (cela peut également être défini pour des items individuels - c'est-à-dire que chaque item peut être classé différemment, dans les propriétés de l'item). Voir l'image ci-dessous pour un exemple.
Cliquez sur les paramètres de la zone du test que vous souhaitez définir (les cogs en haut, ou les cogs à côté de l'élément du test, de la section ou de l'item, selon votre choix). Dans le panneau des propriétés situé à droite, cliquez sur Catégories. Saisissez la catégorie de matière dont vous avez besoin pour le test, la section ou l'item en cours. Chaque catégorie de sujet doit commencer par "x-tao-scoring" et se terminer par le sujet, qui peut être n'importe quoi. Les catégories possibles sont x-tao-scoring-english, x-tao-scoring-math, ou x-tao-scoring-biology, par exemple.
5. Affichez les éléments notés manuellement dans le TAO.
Une fois que les éléments pertinents de la livraison ont été notés manuellement dans TAO Grader et que les notes ont été envoyées au TAO (en règle générale, les notes sont envoyées au TAO lorsque toutes les réponses ont été notées pour une exécution de livraison donnée), vous pouvez actualiser votre page de résultats dans le TAO.
Les notes attribuées manuellement apparaîtront dans le tableau de l'item - à la fois la note globale de l'item et les notes attribuées pour des aspects particuliers (résultats) de l'item. La note globale du test peut également être calculée à l'aide de la méthode de notation configurée dans le TAO pour ce test.
