IA generativa, ChatGPT e implicaciones para la creación de pruebas

Profesora de pie en un aula sonriendo a los alumnos sentados en sus pupitres con ordenadores portátiles.

El chat GPT ha tomado por asalto el mundo de la educación, ya que los educadores se esfuerzan por gestionar la preocupación por las trampas utilizando IA generativa. La preocupación por el hecho de que los alumnos utilicen el programa para generar redacciones similares a las humanas, respuestas cortas y, en algunos casos, pensamiento analítico, ha llevado a los profesores a condenar ampliamente el programa. Sin embargo, después de que se haya calmado la opinión pública sobre Chat GPT, está claro que tiene ventajas y que ha llegado para quedarse.

Herramientas como la IA generativa tienen el poder de cambiar el panorama de la educación y pueden resultar beneficiosas tanto para los educadores como para los estudiantes. El uso de la IA generativa para crear niveles de lectura, desarrollar estímulos de escritura e incluso generar preguntas de evaluación podría facilitar la vida a los educadores y mejorar los resultados de aprendizaje de los alumnos. 

¿Cómo pueden utilizarse las herramientas de IA en la evaluación?

Las herramientas de IA como Chat GPT pueden ser utilizadas por los autores de evaluaciones de diversas maneras, dependiendo de las necesidades específicas de la evaluación. He aquí algunos ejemplos:

Generación de preguntas de examen: Chat GPT y otros programas de IA generativa pueden utilizarse para generar preguntas de examen para una gran variedad de asignaturas y niveles de dificultad. Los autores de las evaluaciones pueden introducir instrucciones o temas, y Chat GPT puede utilizar sus capacidades de generación de lenguaje para producir preguntas que evalúen la comprensión y los conocimientos de los alumnos.

Calificación de las respuestas: La IA puede utilizarse para puntuar las respuestas abiertas de los alumnos. Al entrenar a la IA con un conjunto de respuestas que ya han sido puntuadas por calificadores humanos, puede aprender a asignar puntuaciones a nuevas respuestas en función de su similitud con el conjunto de entrenamiento.

Creación de preguntas de evaluación adaptativas: Chat GPT puede utilizarse para crear experiencias de evaluación adaptativas que ajusten la dificultad de las preguntas en función de las respuestas de los alumnos. Al analizar las respuestas de los alumnos en tiempo real, Chat GPT puede generar preguntas que supongan un reto adecuado para cada alumno.

Proporcionar retroalimentación: Chat GPT puede utilizarse para proporcionar información más rápida a los alumnos sobre sus respuestas. Al analizar el contenido y la estructura de las respuestas de los alumnos, Chat GPT puede proporcionar comentarios específicos, informativos y prácticos.

El valor de la IA generativa para crear preguntas de evaluación

Elaborar preguntas para los exámenes es una tarea tediosa y que lleva mucho tiempo a los educadores. Puede resultar complicado crear suficientes preguntas para evaluar a los alumnos, y crear un banco de preguntas del que tirar para un examen resta tiempo a otras tareas como la planificación, la conexión con los alumnos y el desarrollo de contenidos de calidad. El uso de IA generativa para crear preguntas de evaluación es una opción que los educadores y creadores de pruebas pueden utilizar para ahorrar tiempo y ser más eficientes. 

La IA generativa resulta muy útil para crear preguntas de evaluación: 

Cree grandes cantidades de contenido con facilidad 

Quizás la mayor ventaja de utilizar Chat GPT para generar preguntas de evaluación es la velocidad con la que puede crear cantidades masivas de preguntas. Como educador, puedes darle a Chat GPT una copia de algo en lo que estés trabajando y y pedirle que genere preguntas sobre el tema. También puedes especificar cuántas preguntas quieres y de qué nivel. De este modo, un profesor o creador de pruebas puede desarrollar cientos de preguntas en cuestión de minutos, una tarea que normalmente llevaría tiempo, esfuerzo o dinero realizar a tan gran escala.

La IA Generativa no es perfecta y algunas preguntas pueden no ser lo que el creador de la prueba esperaba. Cuando se utiliza Chat GPT para generar preguntas de evaluación, sigue siendo necesario que una persona revise y edite las preguntas que no encajan. Sin embargo, el proceso de edición de preguntas suele ser más rápido que la generación de preguntas desde cero. 

Aleatorización de las preguntas de la prueba

La aleatorización de las preguntas de un test es el proceso de utilizar un banco de preguntas o varios bancos de preguntas de forma aleatoria a la hora de diseñar un test. Tradicionalmente, este proceso se hacía manualmente: un profesor creaba dos o tres versiones de un examen cambiando las preguntas de sitio. Esto requería mucho tiempo, pero con los modernos programas informáticos como TAO testinglos educadores pueden insertar preguntas sin problemas en la plataforma y ésta puede aleatorizar el orden en que se dan las preguntas en un examen. Además de aleatorizar las preguntas, las plataformas digitales de evaluación también pueden aleatorizar la selección de respuestas.

Todo esto sirve para mejorar la validez y fiabilidad de los tests, reducir las trampas y mejorar la integridad general de los tests. Mientras que Chat GPT podría generar diferentes formas de una prueba, que todavía requiere esfuerzo personal para copiar, pegar e imprimir diferentes versiones de la prueba. El uso de una plataforma de pruebas, como TAO testing, acelera esto y alberga todo el proceso, desde el desarrollo de la prueba hasta la calificación, todo en un solo lugar. 

Ejemplos de tipos de preguntas

Chat GPT puede desarrollar preguntas para una amplia variedad de evaluaciones o necesidades, entre las que se incluyen: 

  • Preguntas basadas en hechos: Preguntas basadas en información objetiva. Por ejemplo: "¿Cuál es el planeta más grande de nuestro sistema solar?".
  • Preguntas conceptuales: Preguntas relacionadas con la comprensión de conceptos y principios. Por ejemplo: "¿Cuál es la diferencia entre tiempo atmosférico y clima?".
  • Preguntas analíticas: Preguntas diseñadas para analizar e interpretar la información. Por ejemplo: "¿Cuáles son algunas causas potenciales de la actual crisis del cambio climático?".
  • Preguntas de pensamiento crítico: Preguntas para evaluar información y emitir juicios. Por ejemplo: "¿Crees que las redes sociales tienen un impacto positivo o negativo en la sociedad? Explica tu respuesta".
  • Preguntas creativas: Preguntas diseñadas para generar ideas únicas e innovadoras. Por ejemplo: "¿Cuáles son algunas posibles soluciones para reducir los residuos plásticos en nuestros océanos?".
  • Preguntas basadas en situaciones hipotéticas: Se trata de preguntas que presentan un escenario hipotético y piden al alumno que responda. Por ejemplo: "Eres el director general de una empresa que ha sido acusada de prácticas poco éticas. ¿Cómo manejarías la situación?".

Teniendo en cuenta la psicometría: Validez y fiabilidad con Chat GPT

Psicometría es un aspecto esencial de la creación de preguntas de evaluación eficaces, ya que implica el diseño de preguntas que sean fiables, válidas y justas para todos los examinandos. Las preguntas generadas por IA deben evaluarse en función de principios psicométricos para garantizar que cumplen las normas necesarias.

Una forma de conciliar el contenido generado por IA con la psicometría es incorporar la revisión humana y el control de calidad en el proceso de evaluación. Los expertos humanos en la materia y los psicometristas pueden evaluar la validez, fiabilidad e imparcialidad de las preguntas generadas. También pueden asegurarse de que las preguntas se ajustan a los resultados de aprendizaje previstos y son apropiadas para el público al que van dirigidas.

Otra forma de garantizar la calidad de los contenidos generados por IA es utilizar algoritmos de aprendizaje automático diseñados específicamente para optimizar las propiedades psicométricas, como los modelos de teoría de respuesta al ítem (TRI). Estos modelos pueden ayudar a identificar los ítems que son demasiado difíciles o demasiado fáciles y pueden ajustar la dificultad del ítem basándose en las respuestas de los examinandos para garantizar que las puntuaciones reflejen con precisión las capacidades del examinando.

El resultado final

Chat GPT ofrece un inmenso potencial para utilizar la IA en la generación de bancos de ítems de tests, ahorrando a los creadores de tests tiempo, dinero y esfuerzo. Utilizar la IA generativa para desarrollar pruebas en el aula es una forma de ayudar a los educadores a crear pruebas con muchos niveles diferentes sin tener que pasar horas reelaborando diferentes preguntas. 

Cuando se combina con una plataforma de pruebas en línea, como TAO el desarrollo de pruebas puede personalizarse en gran medida para satisfacer las necesidades de cada alumno, al tiempo que se mejora la integridad de las pruebas mediante la aleatorización de las preguntas. Todo esto conduce a una experiencia de prueba que llega al corazón de lo que la evaluación está diseñada para hacer, informar a los educadores sobre dónde está un estudiante, qué pasos tomar a continuación, y cómo mejorar los resultados de aprendizaje para los estudiantes.