Cuando se evalúa un software de evaluación, la conversación suele girar en torno a las funciones: ¿Qué tipos de preguntas admite? ¿Permite realizar pruebas adaptativas? ¿Cómo es el panel de informes? Estas preguntas son un buen punto de partida, pero no son suficientes.
Lo que suele pasarse por alto es cómo gestiona la plataforma los contenidos que se le confían. Por ejemplo, ¿se pueden exportar los elementos de evaluación en un formato estándar? ¿Se conservarán tras una migración a otro sistema dentro de cinco años? ¿Y qué hay de las integraciones con el ecosistema más amplio de la tecnología educativa?
Una solicitud de propuestas (RFP) bien elaborada va más allá de la simple comparación de características. Actúa como un punto de control estratégico en la evaluación, lo que le brinda la oportunidad de definir características, estándares, estructuras y prácticas de gestión de datos que garanticen la flexibilidad a largo plazo. En este artículo, le mostraremos cómo estructurar su RFP de evaluación para evitar la dependencia de un único proveedor a largo plazo.
Principales conclusiones
- Muchas solicitudes de propuestas de evaluación no dan los resultados esperados porque nunca definen claramente el concepto de interoperabilidad en los requisitos de contratación.
- Las decisiones en materia de adquisiciones influyen directamente en la flexibilidad del sistema a largo plazo, especialmente en lo que respecta a la portabilidad e integración de contenidos.
- El contenido de las evaluaciones debe considerarse un activo institucional a largo plazo, y los requisitos de adquisición deben abarcar la titularidad de los datos, el formato de exportación y la conservación de los metadatos.
- Los números de certificación y registro de EdTech constituyen una forma verificable de garantizar que los proveedores cumplan con sus compromisos en materia de interoperabilidad.
Por qué muchas solicitudes de propuestas de evaluación no dan los resultados esperados
Es posible que las solicitudes de propuestas (RFP) para evaluaciones nunca sean documentos perfectamente redactados y pulidos, pero pueden estar bien planteadas y ser estratégicamente sólidas. Esto significa que deben ir más allá de las funcionalidades actuales —como los tipos de preguntas, la puntuación y los análisis— para abordar cuestiones estructurales que determinarán la flexibilidad del software de evaluación dentro de cinco o diez años.
De todas las áreas que suelen pasarse por alto, la interoperabilidad es sin duda la más importante. La mayoría de las solicitudes de propuestas (RFP) o bien la omiten por completo o bien se refieren a ella en términos vagos, como «debe cumplir con los estándares del sector».
El problema es que esto da a los proveedores la libertad necesaria para interpretar el cumplimiento de la normativa de la forma que más les convenga, y no necesariamente a la del sistema educativo. Un proveedor podría afirmar, por ejemplo, que su sistema es interoperable porque su plataforma puede importar un archivo CSV, aunque no sea capaz de exportar un paquete de evaluación totalmente estructurado que se pueda utilizar fácilmente en otra plataforma.
Como consecuencia, muchas instituciones se dan cuenta de que se han atadas a un contrato solo cuando intentan migrar. Por ejemplo, pueden encontrarse con que los elementos de evaluación, los metadatos, las reglas de puntuación y las configuraciones de accesibilidad están bloqueados en su sistema heredado. Replicar estas estructuras en otros lugares puede llevar meses y, a menudo, cuesta más de lo esperado.
Cómo influyen las decisiones de adquisición en la flexibilidad a largo plazo
El momento adecuado para abordar estas cuestiones es durante el proceso de licitación. Los equipos de contratación que consideran la interoperabilidad como un requisito estratégico, en lugar de un simple detalle técnico, sientan las bases para el éxito a largo plazo de sus instituciones.
La plataforma que elijas se convertirá en el contenedor de un conjunto cada vez mayor de contenidos de evaluación, en el punto de integración de otros programas informáticos —como los sistemas de gestión del aprendizaje (LMS), los sistemas de información de alumnos (SIS) y las herramientas de análisis— y en el mecanismo a través del cual cumplirás los requisitos de accesibilidad.
Cuando eliges una plataforma sin requisitos claros de interoperabilidad, tu institución va cede el control. Cuando confía en la implementación propietaria de un proveedor en lugar de en formatos abiertos y estandarizados que son transferibles entre sistemas sin pérdida de datos, su coste de cambiar de plataforma aumenta con cada año que pasa.
Para garantizar la flexibilidad, no es necesario predecir el futuro. En cambio, hay que insistir en el uso de estándares abiertos, en capacidades de exportación claramente definidas y en compromisos contractuales que garanticen la portabilidad. Todos estos aspectos pueden establecerse desde el principio en la solicitud de propuestas, cuando la influencia de tu institución es máxima.
Cómo elaborar una solicitud de propuestas para una evaluación interoperable
Decir que «la plataforma debe ser interoperable» es un poco como decir que «el edificio debe ser seguro». Sin detalles concretos, no hay nada que se pueda exigir. Para que la interoperabilidad sea un requisito real, hay que ser específico y concreto en cuanto a las normas a las que se hace referencia, sus versiones y cómo se verificará su cumplimiento.
La norma QTI
La estándar de interoperabilidad de preguntas y pruebas (QTI), gestionado por el consorcio EdTech 1EdTech, es el estándar más utilizado para empaquetar e intercambiar contenidos de evaluación entre plataformas. Define cómo se estructuran los ítems, las pruebas, las reglas de puntuación y los metadatos en un formato XML portátil, de modo que el contenido creado en un sistema pueda distribuirse en otro.
El estándar QTI ha evolucionado a lo largo de varias versiones principales, entre las que se incluyen QTI 2.1, 2.2 y 3.0. Cada una de estas versiones admite diferentes funcionalidades. La última versión, QTI 3.0, añade compatibilidad nativa con HTML5, pruebas adaptativas por ordenador e interacciones personalizadas portátiles. También mejora la coherencia de la representación en todas las plataformas.
Los números de versión son importantes: por ejemplo, es posible que un proveedor certificado para QTI 2.1 no pueda gestionar contenidos QTI 3.0, y viceversa. Dado que 1EdTech dejó de ofrecer la certificación QTI 2.1 a finales de 2024, las solicitudes de propuestas que se redacten hoy en día deberían hacer referencia a QTI 3.0, a menos que exista una razón específica relacionada con la compatibilidad con versiones anteriores para no hacerlo, como por ejemplo, si sus dispositivos no son compatibles con esta versión.
APIP y accesibilidad
El APIP (Protocolo de Elementos Portátiles Accesibles) era originalmente un estándar independiente de 1EdTech que garantizaba que los contenidos de evaluación pudieran incluir información sobre accesibilidad —como indicaciones para la conversión de texto a voz, referencias al lenguaje de signos, compatibilidad con braille o texto alternativo— en un formato portátil.
Con QTI 3.0, estas capacidades se han incorporado a la norma QTI. Para los procesos de adquisición, esto significa que la solicitud de propuestas puede hacer referencia a la norma en lugar de basarse en normas específicas de cada proveedor. Si su institución tiene requisitos específicos en materia de accesibilidad, cabe destacar que la certificación QTI 3.0 de 1EdTech incluye un perfil de «accesibilidad mejorada» que abarca el soporte de voz, las descripciones detalladas y las referencias táctiles.
Certificación > cumplimiento normativo
Cualquier proveedor puede afirmar que cumple con QTI, pero la certificación significa que el producto ha sido sometido a pruebas según normas de conformidad definidas y ha recibido un número de registro que se puede verificar en el Directorio de aplicaciones TrustEd de 1EdTech.
La propia guía de 1EdTech para la elaboración de solicitudes de propuestas (RFP) recomienda especificar la versión y el perfil de certificación requeridos, así como pedir a los proveedores que incluyan su número de registro en sus propuestas. Cuando los proveedores aún no hayan obtenido la certificación, la RFP puede exigir que la consigan antes de una fecha concreta, con consecuencias contractuales en caso de incumplimiento del plazo.
Metadatos y contenido estructurado
Ten en cuenta que la interoperabilidad no se limita a que el contenido pueda transferirse entre sistemas. También se trata de que siga teniendo sentido cuando llega a su destino.
Por ejemplo, si las preguntas se exportan como texto sin formato, perderán su lógica de puntuación, su alineación con el plan de estudios, su clasificación de dificultad y su marcado de accesibilidad. El estándar QTI abarca los metadatos de objetos de aprendizaje (LOM) y permite aplicar metadatos de estándares curriculares a nivel de paquete, recurso y elemento.
Al redactar una solicitud de propuestas, debes definir qué metadatos son necesarios en los paquetes de evaluación exportados; por ejemplo, la correspondencia con los estándares curriculares (utilizando el CASE [Competencies and Academic Standards Exchange], los índices de dificultad y discriminación de los ítems, las etiquetas de dominio de contenido, la información lingüística y los descriptores de accesibilidad. De ese modo, la información que hace que un banco de ítems sea consultable, analizable y reutilizable no se pierde durante la exportación y la migración.
Con la mirada puesta en el futuro
El estándar QTI ha evolucionado a lo largo de varias versiones, y los requisitos de accesibilidad se están endureciendo en consonancia con las actualizaciones de las Pautas de Accesibilidad al Contenido Web (WCAG). Además, los estándares de análisis como Caliper siguen desarrollándose. Para que su solicitud de propuestas esté preparada para el futuro, deberá adaptarse a los cambios en estos estándares.
1EdTech ofrece una «Declaración de intención de adoptar las normas de 1EdTech de manera oportuna» para su inclusión en los documentos de contratación y pide a los proveedores que se comprometan a dar soporte a las especificaciones actualizadas en un plazo razonable. Una solicitud de propuestas también puede incluir revisiones periódicas de interoperabilidad como puntos de control para reevaluar a los proveedores en función de los estándares actuales. Esto crea un incentivo continuo para mantener el soporte, en lugar de tratar la certificación como un requisito puntual que hay que cumplir.
Los contenidos de evaluación constituyen un activo institucional a largo plazo
Una pregunta de evaluación bien diseñada —que haya sido probada en el aula, validada, adaptada a los estándares curriculares, etiquetada con metadatos y concebida para garantizar su accesibilidad— supone una inversión considerable. Con el tiempo, un banco de preguntas se convierte en un recurso educativo valioso y singular. Sin embargo, los procesos de adquisición rara vez reflejan esto, ya que se centran en la plataforma en lugar de en el contenido.
Una solicitud de propuestas que considere el contenido de evaluación como un activo institucional debe abordar cuestiones como la titularidad (el contenido creado por la institución o para ella pertenece a la institución), la capacidad de exportación y la integridad de los metadatos. Si no se especifica claramente que las plataformas deben exportar todo el contenido en un paquete compatible con QTI que preserve su integridad total, no dispondrás de una base contractual sobre la que insistir en ello más adelante.
Al mismo tiempo, incorporar la interoperabilidad a los criterios no requiere una revisión completa de su solicitud de propuestas. Se trata, más bien, de añadir algunos elementos específicos. ¿Cuenta el proveedor con una certificación QTI de 1EdTech vigente y, en caso afirmativo, de qué nivel? ¿Puede demostrar una exportación real de contenidos en formato QTI o puede remitirle a migraciones de contenidos que haya realizado para otras instituciones?
Estas preguntas permiten comprobar si el modelo de negocio de un proveedor es compatible con la necesidad de flexibilidad de la institución. Los proveedores que hayan invertido en la certificación de estándares las acogerán con agrado, y los que no lo hayan hecho las eludirán u ofrecerán garantías vagas. Su proceso de evaluación debe estar diseñado para distinguir entre ambos.
Convertir las compras en un eje estratégico
La adquisición es el ámbito en el que se define la estrategia de evaluación a largo plazo. Cada requisito incluido en una solicitud de propuestas, desde los estándares que se especifiquen hasta la forma en que se defina la titularidad de los contenidos, determinará la capacidad de su institución para adaptarse, migrar y mantener el control de su ecosistema de evaluación en los próximos años.
Para tener en cuenta esta perspectiva a largo plazo, deberás incluir preguntas sobre las versiones y la certificación de QTI, la propiedad de los datos y los formatos de exportación, así como la accesibilidad y la portabilidad. No cuesta nada plantear estas preguntas y pueden ahorrarte mucho tiempo y esfuerzo en el futuro.
Si su institución se acerca a un ciclo de contratación de servicios de evaluación, revise su plantilla actual de solicitud de propuestas y pregúntese si define la interoperabilidad en términos exigibles. Si no protege su contenido como un activo institucional, es hora de introducir algunas modificaciones.