TAO Grader es un complemento del paquete de productos TAO que permite la calificación manual de preguntas abiertas. Se lleva a cabo sobre la marcha: cuando el examinando ha terminado un test, las respuestas de los ítems que necesitan puntuación manual se envían a TAO Grader. Una vez que los calificadores manuales han enviado las puntuaciones de todas las respuestas de una sesión de prueba concreta (es decir, una ejecución de entrega), se devuelven a TAO, donde se mostrarán en la página de resultados de TAO para esa prueba.
En cuanto un examinando haya enviado un test y se haya realizado la calificación automática de los ítems relevantes, la página de resultados de esa entrega de TAO mostrará las puntuaciones de esos ítems. Sin embargo, las columnas de puntuación de los ítems que requieran puntuación manual seguirán vacías.
En este punto, TAO entrega los elementos restantes a TAO Grader para que los puntúe. Las dos plataformas están totalmente integradas, por lo que no es necesario extraer las respuestas que necesitan una puntuación manual del archivo CSV de los resultados de una entrega de TAO: todo esto tiene lugar automáticamente.
Nota: TAO Grader sólo está disponible para los clientes de Ignite y Enterprise.
Para garantizar que las respuestas de los examinados se procesan correctamente, es necesario configurar los elementos de la prueba pertinentes para la puntuación manual cuando se crea el elemento. Siga los siguientes pasos para hacerlo.
1. Etiquete el ítem como uno que requiere calificación manual.
Haga clic en Declaraciones deResultado en el panel de Propiedades de Respuesta a la derecha del elemento. Aparecerá(n) el(los) resultado(s) de su elemento, como en la imagen de abajo. Haciendo clic en el icono de edición a la derecha de un resultado se abrirán los valores asociados a él. El primer resultado listado para este ítem del test (es decir, el primer aspecto de la respuesta que necesita ser puntuado) es PALABRA.
El primer valor es Interpretación: el nombre del resultado. Es el nombre que se mostrará a la persona que realice la puntuación manual. En el ejemplo siguiente, se trata de Elección de palabras.
En el menú desplegable de Puntuación externa, seleccione Humano.
Este valor indica el tipo de puntuación que se necesita para este resultado concreto (en este caso, puntuación por un humano), por lo que el elemento se enviará a TAO Grader para su puntuación manual.
2. Añada una descripción de los criterios de puntuación.
El evaluador manual necesita saber qué sistema de puntuación utilizar para el ítem (o resultado) en cuestión. Esto se muestra en forma de una rúbrica que contiene los criterios de puntuación que desea emplear, y a la que se accede mediante un enlace a un archivo PDF alojado.
En la casilla Interpretación larga, añada un enlace al archivo PDF alojado que contiene la rúbrica de puntuación. El calificador podrá acceder a él más tarde.
3. Defina el intervalo de puntuación.
Introduzca el intervalo (por ejemplo, 1-4) en la casilla Valor.
Es posible definir diferentes rangos, siempre que se respeten las siguientes reglas: deben definirse tanto el mínimo como el máximo , utilizando sólo números enteros. El máximo no debe ser negativo y debe ser mayor que el mínimo.
Nota: Para que las respuestas de un ítem sean "elegibles" para la puntuación manual, debe haber un rango de puntuación válido en "Valor", y se debe seleccionar "humano" en la casilla "ExternalScored".
Nota: Si un ítem tiene más de un resultado (es decir, si diferentes aspectos de una respuesta reciben puntuaciones separadas, lo que significa que se necesitan múltiples puntuaciones para un ítem), el método de puntuación debe configurarse para cada uno de ellos. Esto se describe como "puntuación multi-rasgo " en la plataforma de puntuación manual. En el ejemplo de la imagen anterior, se pueden ver otros dos aspectos de este ítem del test: Comprensión y Mecánica.
4. Defina la categoría temática de su artículo.
Es necesario definir la categoría temática de un ítem. Esto es para asegurar que va a un calificador apropiado en los casos en los que los calificadores se asignan en base a la categoría temática de los ítems. (La asignación de calificadores según la categoría temática es sólo una de las dos opciones. Consulte el capítulo Creación de un proyecto de calificación en la sección sobre TAO Grader para obtener detalles sobre las estrategias de asignación disponibles).
Esto se hace en las propiedades de la sección del test en cuestión (también puede definirse para ítems individuales - es decir, cada ítem puede clasificarse de forma diferente, en propiedades del ítem). Vea un ejemplo en la imagen siguiente.
Haga clic en los ajustes del área de la prueba que desee definir (los engranajes de la parte superior, o los engranajes situados junto a la parte de la prueba, la sección o el elemento, según desee). En el panel de propiedades de la derecha, haga clic en Categorías. Introduzca la categoría de materia que necesite para la prueba, sección o ítem actual. Cada categoría de materia debe comenzar con 'x-tao-scoring', y terminar con el tema, que puede ser cualquier cosa. Las categorías posibles son x-tao-scoring-english, x-tao-scoring-math, o x-tao-scoring-biology, por ejemplo.
5. Ver los ítems puntuados manualmente en TAO.
Una vez que se han puntuado manualmente en TAO Grader los elementos relevantes de la entrega y se han enviado las puntuaciones a TAO (por regla general, las puntuaciones se envían a TAO cuando se han puntuado todas las respuestas de una ejecución de entrega determinada), puede actualizar su página Resultados en TAO.
Las puntuaciones otorgadas manualmente se mostrarán en la tabla de ítems: tanto la puntuación global del ítem como las puntuaciones otorgadas a aspectos particulares (resultados) del ítem. La puntuación global de la prueba también puede calcularse ahora, utilizando el método de puntuación que se haya configurado en TAO para esa prueba.
