Calificación manual de los elementos

TAO Grader es un complemento del paquete de productos TAO que proporciona una puntuación manual para las preguntas abiertas. Se lleva a cabo sobre la marcha: cuando el examinador ha terminado un test, las respuestas de los ítems que necesitan puntuación manual se envían a TAO Grader. Una vez que los calificadores manuales han enviado las puntuaciones de todas las respuestas de una sesión de prueba concreta (es decir, una ejecución de entrega), éstas se devuelven a TAO, donde se mostrarán en la página de resultados de TAO para esa prueba. 

Una vez que un examinador haya presentado un test y se haya realizado la calificación automática de los ítems pertinentes, la página de resultados de esa entrega de la OAT mostrará las puntuaciones de esos ítems. Sin embargo, las columnas de puntuación de los ítems marcados como de puntuación manual seguirán estando vacías. 

En este punto, TAO entrega los elementos restantes a TAO Grader para que los puntúe. Las dos plataformas están totalmente integradas, por lo que no es necesario extraer las respuestas que necesitan una puntuación manual del archivo CSV de los resultados de una entrega de TAO: todo esto tiene lugar automáticamente.

Nota: TAO Grader sólo está disponible para los clientes de Ignite y Enterprise.

Para garantizar que las respuestas de los examinados se procesan correctamente, es necesario configurar los elementos de la prueba pertinentes para la puntuación manual cuando se crea el elemento. Siga los siguientes pasos para hacerlo.

1. Etiquete el ítem como uno que requiere calificación manual.

Haga clic en Declaraciones de Resultado en el panel de Propiedades de Respuesta a la derecha del elemento. Aparecerán los resultados de su elemento, como en la imagen siguiente. Al hacer clic en el icono de edición a la derecha de un resultado, se abrirán los valores asociados a él. El primer resultado que aparece para este ítem del test (es decir, el primer aspecto de la respuesta que debe ser puntuado) es el de HECHO DE PALABRAS.

El primer valor es Interpretación - el nombre del resultado. Es el nombre que se mostrará a la persona que realice la puntuación manual. En el ejemplo siguiente, se trata de Word Choice.

En el menú desplegable bajo Puntuación externa, selija Humano .

Este valor indica el tipo de puntuación que se necesita para este resultado en particular (en este caso, puntuación por un humano), por lo que el ítem será enviado a TAO Grader para su calificación manual.

2. Añada una descripción de los criterios de puntuación.

El calificador manual necesita saber qué sistema de puntuación debe utilizar para el ítem (o resultado) en cuestión. Esto se muestra en forma de rúbrica que contiene los criterios de puntuación que se desea emplear, y se accede a ella mediante un enlace a un archivo PDF alojado.

En la casilla denominada Interpretación larga, añada un enlace al archivo PDF alojado que contiene la rúbrica de puntuación. El calificador podrá acceder a él más tarde.

3. Defina el rango de puntuación.

Introduzca el rango (por ejemplo, 1-4) en la casilla denominada Valor.

Es posible definir diferentes rangos, siempre que se respeten las siguientes reglas: tanto el mínimo y máximo deben ser definidos, utilizando sólo números enteros. El máximo no debe ser negativo y debe ser mayor que el mínimo.

Nota: Para que las respuestas de un ítem sean "elegibles" para la puntuación manual, debe haber un rango de puntuación válido en "Valor", y se debe seleccionar "humano" en la casilla "ExternalScored".

Nota: Si un ítem tiene más de un resultado (es decir, si los diferentes aspectos de una respuesta reciben puntuaciones separadas, lo que significa que se necesitan múltiples puntuaciones para un ítem), el método de puntuación debe configurarse para cada uno de ellos. Esto se describe como "puntuación multirasgo" en la plataforma de puntuación manual. En el ejemplo de la imagen anterior, se pueden ver otros dos aspectos de este ítem del test: Comprensión y Mecánica.

4. Defina la categoría temática de su artículo.

Es necesario definir la categoría temática de un ítem. Esto es para asegurar que va a un calificador apropiado en los casos en que los calificadores se asignan en base a la categoría temática de los ítems. (La asignación de calificadores en función de la categoría temática es sólo una de las dos opciones. Vea el capítulo Creación de un proyecto de calificación en la sección sobre TAO Grader para detalles sobre las estrategias de asignación disponibles).

Esto se hace en las propiedades de la sección de la prueba en cuestión (también puede definirse para elementos individuales, es decir, cada elemento puede clasificarse de forma diferente, en las propiedades del elemento). Consulte la imagen siguiente para ver un ejemplo.

Haga clic en la configuración del área de la prueba que desea definir (los engranajes de la parte superior, o los engranajes junto a la parte de la prueba, la sección o el elemento, según se desee). En el panel de propiedades de la derecha, haga clic en Categorías. Introduzca la categoría de materia que necesita para la prueba, sección o elemento actual. Cada categoría de materia debe comenzar con "x-tao-scoring", y terminar con el tema, que puede ser cualquier cosa. Las categorías posibles son x-tao-calificación-inglés, x-tao-scoring-matho x-tao-scoring-biologíapor ejemplo.

5. Vea los elementos calificados manualmente en la OAT. 

Una vez que se han puntuado manualmente los elementos relevantes de la entrega en TAO Grader y se han enviado las puntuaciones a TAO (por regla general, las puntuaciones se envían a TAO cuando se han puntuado todas las respuestas de una ejecución de entrega determinada)puede actualizar la página de resultados en TAO.

Las puntuaciones otorgadas manualmente se mostrarán en la tabla del ítem - tanto la puntuación global del ítem, como las puntuaciones otorgadas para aspectos particulares (resultados) del ítem. La puntuación global de la prueba también puede calcularse ahora, utilizando el método de puntuación que se ha configurado en TAO para esa prueba.