Las escuelas y los distritos educativos de todo el mundo se han digitalizado cada vez más, con numerosas opciones de escolarización en línea y plataformas digitales de aprendizaje a disposición de alumnos y profesores. Con estas nuevas e innovadoras opciones de aprendizaje surge la necesidad de garantizar que las prácticas de evaluación basadas en la tecnología sean justas y eficaces a la hora de medir el crecimiento y los logros de los alumnos. Sin embargo, las mejores prácticas para las evaluaciones con lápiz y papel en el aula y las evaluaciones en línea no son las mismas.
Por ello, la Association of Test Publishers (ATP) ha elaborado una guía detallada sobre cómo implementar y utilizar las evaluaciones en línea, incluyendo el diseño, la entrega y la calificación de las evaluaciones digitales. La ATP también ofrece en la guía directrices sobre la seguridad, validez, fiabilidad e imparcialidad de las pruebas. En resumen, las Directrices para la evaluación basada en la tecnología ofrecen el punto de partida perfecto para los administradores de pruebas o los responsables de los distritos escolares a la hora de desarrollar evaluaciones en línea.
¿Qué incluye?
La guía es exhaustiva e incluye capítulos sobre diversos temas y cuestiones relacionados con las evaluaciones digitales. Los capítulos de la guía incluyen:
- Desarrollo y creación de pruebas (incluidos los elementos de gamificación y tecnología mejorada)
- Diseño y montaje de pruebas lineales o adaptativas
- Entornos de entrega de pruebas (incluidos navegadores web, móviles, sin conexión, bloqueados, interrupciones e interoperabilidad).
- Exploración automatizada y asistida por tecnología
- Informes de resultados digitales
- Gestión de datos (almacenamiento, mantenimiento, integridad, integración)
- Calidad psicométrica y técnica
- Prueba de seguridad
- Protección de datos en la evaluación basada en la tecnología
- Equidad y accesibilidad
- Consideraciones sobre las pruebas globales, incluida la traducción
Cada capítulo ha sido redactado por un experto en la materia y revisado por otros expertos para garantizar que la información contenida en la guía sea precisa y refleje las mejores prácticas del sector. La guía está concebida para su uso en evaluaciones sumativas o de alto nivel, aunque los principios, especialmente los relativos al diseño de las pruebas, también pueden aplicarse a evaluaciones formativas formativas.
Principales conclusiones
Aunque la guía contiene mucha información, destacan cinco áreas temáticas clave. Se trata de aspectos relacionados con los elementos mejorados por la tecnología y la evaluación basada en juegos, la interoperabilidad, la equidad y la accesibilidad, la puntuación y la seguridad. Al tener en cuenta cada uno de ellos, un profesor o desarrollador de pruebas puede asegurarse de que su evaluación basada en la tecnología mide lo que espera medir, de manera equitativa, manteniendo al mismo tiempo un alto nivel de privacidad y seguridad.
Elementos tecnológicos y evaluación basada en juegos
Una de las mejores formas de utilizar la tecnología para mejorar el aprendizaje es mediante Interacciones Personalizadas Portátiles o PCI. Las PCI ofrecen a los estudiantes una enorme libertad para demostrar su aprendizaje, en contexto y con múltiples resultados, al permitirles interactuar con simulaciones tipo juego dentro de un examen.
Cuando se crea un ítem para un examen, la clave es empezar teniendo en mente el objetivo final, es decir, lo que la pregunta debe medir y permitir que los estudiantes demuestren. Esto significa que cuando se utilizan ítems mejorados por la tecnología (TEIs) o evaluaciones basadas en juegos, es importante empezar por considerar el estándar de aprendizaje que se está midiendo y diseñarlo para permitir a los estudiantes demostrar que comprenden esas habilidades. Otras directrices clave que deben tenerse en cuenta son:
- Garantizar que los TEI funcionen en los dispositivos de los estudiantes: es posible que los estudiantes realicen la evaluación en una tableta, un portátil, un Chromebook u otro dispositivo; asegúrese de que el estudiante pueda ver el elemento sin desplazarse demasiado.
- Proporcionar tutorías: los estudiantes deben comprender cómo funciona la tecnología antes de empezar, para que no se atasquen intentando realizar la evaluación y los resultados muestren lo que el estudiante sabe, no lo bien que ha manejado la tecnología.
- Reducir la varianza de irrelevancia del constructo o CIV: en la medida de lo posible, los desarrolladores de pruebas deben asegurarse de que el contenido y la habilidad del alumno permanezcan en primer plano. Los TEI deben ser de fácil acceso y desarrollarse teniendo en cuenta al examinando.
Interoperabilidad
Existe una gran variedad de herramientas y plataformas de evaluación basadas en la tecnología que los centros educativos aplican a la hora de enseñar y evaluar a los alumnos. Al desarrollar un software de evaluación, este debe ser capaz de acceder y comunicarse con software de otras plataformas para garantizar una transferencia de información fluida y segura de un lugar a otro.
Para los profesores, esto significa que se puede realizar una evaluación en una plataforma y analizar las puntuaciones o los datos de los alumnos en otras plataformas o libros de calificaciones diseñados para tal fin. Esta interoperabilidad garantiza que los educadores puedan aprovechar los datos de forma eficaz desarrollar evaluaciones más atractivas e influir positivamente en el crecimiento de los estudiantes.
Equidad y accesibilidad
En muchos sentidos, la evaluación basada en la tecnología nivela el campo de juego para los estudiantes y crea la oportunidad de evaluar de forma más justa y equitativa. Sin embargo, hay algunas consideraciones clave en relación con la imparcialidad y la accesibilidad:
- Consideraciones sobre ELL: las evaluaciones deben tener en cuenta las necesidades lingüísticas y realizar las adaptaciones y modificaciones oportunas dentro de la plataforma. En el caso de las pruebas digitales, esto puede significar proporcionar tutoriales con una gran dependencia de las instrucciones basadas en imágenes o incluir diferentes traducciones sobre cómo realizar la evaluación.
- Estudiantes con problemas de salud mental: las plataformas digitales de evaluación deben garantizar que los profesores puedan aplicar fácilmente las adaptaciones y que los estudiantes puedan utilizarlas a lo largo del examen.
- Estudiantes sin experiencia en plataformas digitales: no todos los estudiantes tienen experiencia en tecnología y en el uso de la tecnología para la evaluación. Los educadores y los desarrolladores de pruebas deben asegurarse de que estas se diseñen de forma sencilla e intuitiva para que los estudiantes puedan comprometerse con el material de la forma más auténtica posible.
Puntuación
La calificación de las evaluaciones basadas en la tecnología puede dividirse en dos secciones: calificación automatizada y calificación humana. En el caso de las evaluaciones automatizadas, o puntuadas por IA, es fundamental que los desarrolladores de pruebas empleen un proceso de control de calidad riguroso y exhaustivo tanto para puntuar las evaluaciones como para comunicar las puntuaciones a los estudiantes y a las familias. Esto significa que el software debe identificar los ítems correctos e incorrectos para proporcionar datos precisos.
Sin embargo, no todos los ítems pueden puntuarse automáticamente, para los ítems puntuados por humanos hay que recordar algunas cosas:
- Estos elementos deben tener siempre una rúbrica claramente definida para que los alumnos sepan lo que deben hacer.
- Los calificadores deben tener una formación adecuada para evitar sesgos y garantizar la precisión de las pruebas.
- Las plataformas tecnológicas para almacenar y mostrar las respuestas de los alumnos deben ser fáciles de usar e intuitivas.
Privacidad y seguridad
Trabajar con datos confidenciales de pruebas es una de las principales preocupaciones de los desarrolladores de pruebas. Dado que muchas pruebas se ofrecen en línea y a través de interacciones basadas en la nube, la posibilidad de que se produzca una filtración de datos es alta. Para mantener la integridad de la prueba, los desarrolladores de pruebas deben actuar para prevenir una violación antes de que ocurra, emplear estrategias de disuasión antes y durante las pruebas, y desarrollar un plan de respuesta en caso de trampas o violaciones de datos.
También es importante tener en cuenta la información de identificación personal que el test puede haber recogido. Disponer de un sólido sistema de seguridad para mantener un alto nivel de privacidad garantizará que los datos de los estudiantes permanezcan seguros. Hacer esto no es sólo una cuestión de buenas prácticas, en muchos lugares es también un requisito legal, ya que los gobiernos se esfuerzan por mantener a salvo los datos personales.
¿Por qué es importante la guía?
El cambio a la evaluación en línea basada en la tecnología ha permitido a los educadores obtener una visión más precisa de lo que sus alumnos pueden y no pueden hacer en menos tiempo que con los métodos de evaluación tradicionales. Sin embargo, las pruebas en línea son relativamente nuevas y conllevan algunos matices y diferencias importantes. Por este motivo, estas directrices de la ATP son un punto de partida importante para los desarrolladores de pruebas, ya que proporcionan una base para las mejores prácticas, lo que en última instancia conduce a una evaluación más eficaz, menos pérdida de tiempo y datos más precisos.
Open Assessment Technologies tiene soluciones de software que pueden ayudar a desarrollar evaluaciones de alta calidad diseñadas para el aprendizaje en línea. Para obtener más información sobre cómo las soluciones de OAT pueden mejorar las evaluaciones para sus alumnos, haga clic aquí y póngase en contacto con un representante de ventas.
