En el ámbito de la evaluación institucional, la confianza se menciona habitualmente como motivo para elegir o descartar una plataforma. Sin embargo, a menudo se le atribuye a este término un peso que nadie cuestiona. «Confíen en nosotros» no es una postura de gobernanza, y la confianza basada en la reputación no bastará para superar una revisión normativa o un recurso judicial.
Cuando los resultados de las evaluaciones tienen repercusiones legales, profesionales o financieras, la confianza no puede basarse únicamente en las garantías de los proveedores o en sus argumentos de marketing. Debe ser demostrable, auditable y estar en consonancia con las obligaciones de gobernanza de la institución. Los sistemas que se eligen basándose únicamente en la marca suelen convertirse en un lastre cuando cambian las políticas, los proveedores actualizan sus productos o se cuestionan las prácticas de tratamiento de datos.
En este artículo se analiza cómo se manifiesta la confianza operativa en la práctica, qué la hace tangible y por qué el origen de un sistema —cómo se construye, se gestiona y se pone a disposición para su inspección— es tan importante como su conjunto de funciones.
Principales conclusiones
- La confianza en los sistemas de evaluación debe ser demostrable, no algo que se dé por sentado
- La transparencia y la auditabilidad son fundamentales para la confianza en las instituciones
- Los sistemas de código abierto permiten una mayor visibilidad y control sobre el funcionamiento de los sistemas
- La gobernanza y la rendición de cuentas son tan importantes como la capacidad técnica
- La confianza se forja a través del diseño del sistema, no solo con las promesas de los proveedores
Confianza en los sistemas de evaluación
La mayoría de los debates sobre la confianza en el software se centran, por defecto, en la reputación. Sin embargo, aunque la confianza que se percibe al ver un logotipo conocido y una larga lista de clientes pueda ser suficiente en entornos de venta directa al consumidor, las evaluaciones reguladas son un caso distinto.
En un entorno regulado, es necesario pasar de la confianza percibida a prácticas verificables. En este caso, la confianza se basa en características que una institución puede verificar, controlar y demostrar ante los reguladores, los auditores y otras partes interesadas. Responde a preguntas concretas como: «¿Podemos inspeccionar cómo el sistema evalúa y comunica los resultados? ¿Podemos mostrar a alguien, cuando se nos solicite, lo que ocurrió en una sesión de prueba concreta?».
Al plantear preguntas basadas en el escrutinio al que probablemente se enfrentará algún día tu sistema de evaluación, puedes distinguir entre la confianza percibida y la confianza operativa. Una plataforma con un gran reconocimiento de marca puede seguir siendo una caja negra en lo que respecta a cuestiones técnicas, mientras que una plataforma relativamente desconocida podría ser totalmente transparente y estar regulada por un organismo público de normalización.
En una revisión de la contratación (o, lo que es peor, en una revisión posterior a un incidente), la confianza operativa es lo único que importa.
Hacer tangible la confianza
Si estás tratando de crear sistemas que inspiren confianza operativa, hay tres características fundamentales: transparencia, auditabilidad y gobernanza.
Transparencia
En los sistemas de evaluación, la transparencia implica poder ver cómo se comporta realmente el sistema, y no solo lo que afirma hacer en la ficha técnica. Esto incluye la lógica de puntuación aplicada a las preguntas, los campos de datos recopilados durante una sesión de prueba, cómo se agregan y transmiten los resultados, y cómo circula la información de identificación personal (PII) a lo largo de la pila.
Los sistemas propietarios obligan a las instituciones a confiar en la documentación y las garantías de los proveedores. Los sistemas abiertos, por el contrario, permiten a las instituciones examinar directamente el código fuente, encargar revisiones a terceros y contrastar el comportamiento con la implementación. Cuando se puede confiar en la fuente, ya no se depende de una simple promesa.
Auditabilidad
La auditabilidad significa que el sistema genera pruebas que pueden utilizarse para justificar las puntuaciones y las decisiones. Estas pruebas pueden adoptar la forma de registros, historiales de versiones, registros de acceso y rastros de decisiones que pueden reconstruirse y examinarse a posteriori.
En el caso de evaluaciones de alto riesgo, eso es innegociable. Si un candidato impugna un resultado, un organismo regulador solicita una revisión o un incidente requiere un análisis de las causas fundamentales, la auditabilidad determina si la institución puede responder con seguridad o si debe remitirse al proveedor.
Arquitecturas abiertas y formatos de datos basados en estándares como QTI o Caliper hacen que los registros de auditoría sean portátiles y duraderos, en lugar de quedar encerrados en un esquema propietario. En la práctica, esto significa que se puede reconstruir la sesión de examen de un candidato concreto con total fidelidad: viendo qué preguntas se presentaron y en qué orden, qué adaptaciones se aplicaron, cómo se registraron y puntuaron las respuestas, qué normas estaban en vigor en ese momento y quién accedió al registro posteriormente.
Con ese nivel de detalle, podrás defender tus resultados ante los candidatos y las autoridades reguladoras.
Gobernanza
La gobernanza no es algo glamuroso, pero es absolutamente fundamental para generar confianza. Las herramientas no generan confianza por sí solas, sino que lo hacen en combinación con las políticas, las facultades de decisión y las estructuras de rendición de cuentas que las rodean. ¿Quién puede modificar una regla de puntuación? ¿Dónde se almacenan los datos y bajo qué jurisdicción? Estas cuestiones son tanto institucionales como técnicas.
Las cadenas de responsabilidad son más fáciles de definir y defender cuando el propio sistema es transparente. Si se puede rastrear cada decisión de puntuación hasta una regla documentada en un código fuente abierto, es posible identificar con precisión el origen de cualquier problema que pueda surgir. Sin esa trazabilidad, sin embargo, hay que enviar una solicitud de asistencia al proveedor y esperar a recibir una respuesta oportuna.
Ninguna plataforma puede salvar un modelo de gobernanza deficiente, pero una gobernanza sólida solo es posible cuando el sistema te brinda el acceso suficiente para poder gobernarlo de verdad. Juntas, la transparencia, la auditabilidad y la gobernanza convierten la confianza de un simple eslogan de marketing en una propiedad del sistema diseñada y verificable.
Cómo el código abierto fomenta la confianza
El código abierto no garantiza por sí solo la fiabilidad de los sistemas. Un proyecto de código abierto sin mantenimiento y mal gestionado no es más fiable que uno propietario bien gestionado. Lo que sí ofrece el código abierto, sin embargo, son las condiciones estructurales que permiten alcanzar la confianza operativa a escala institucional, como códigos fuente totalmente transparentes que facilitan a los proveedores de exámenes o a los organismos de certificación la auditoría de los resultados. Estas condiciones son difíciles de replicar en sistemas cerrados.
Visibilidad
Al tener acceso al código fuente, las instituciones pueden comprobar el funcionamiento del sistema en lugar de limitarse a creer lo que dice el proveedor. Esto es importante cuando los algoritmos influyen en la puntuación, las funciones de accesibilidad deben cumplir los requisitos normativos o los flujos de datos deben validarse con arreglo a la legislación sobre residencia de datos.
Control
Las licencias abiertas implican que la institución no depende de la estrategia de desarrollo, los precios ni la continuidad de un único proveedor. Si el proveedor cambia de rumbo, es adquirido o quiebra, la institución conserva tanto el derecho como los medios técnicos para seguir operando, adaptar el sistema o contratar a otro proveedor. En el caso de los programas nacionales con horizontes temporales de varios años o incluso décadas, esa resiliencia es en sí misma una forma de confianza.
Armonización de normas
Las plataformas de evaluación de código abierto consolidadas suelen basarse en estándares abiertos como QTI, Caliper y LTI , ya que las comunidades que las mantienen exigen interoperabilidad. Los sistemas basados en estándares hacen que los datos sean portables, las integraciones predecibles y las auditorías prácticas y manejables. Esto explica en parte por qué los gobiernos y las escuelas recurren cada vez más recurren al software de evaluación de código abierto para sus problemas de gran importancia. De hecho, las herramientas de evaluación de código abierto han pasado de ser un nicho a convertirse en algo habitual en la contratación pública.
La interoperabilidad a nivel de ítem es otra ventaja relacionada: el contenido basado en estándares, incluyendo bancos de ítems gratuitos compatibles con QTI, puede transferirse entre sistemas sin necesidad de reelaboración, lo que refuerza el control institucional.
La economía colaborativa
La última condición estructural es un modelo de supervisión y costes compartidos. Las instituciones públicas reconocen cada vez más el valor de la economía colaborativa en la educación: las infraestructuras construidas y mejoradas colectivamente evitan el bloqueo y la duplicación de los enfoques basados en un único proveedor, al tiempo que siguen respaldando los servicios comerciales para la implementación y el soporte. Ese modelo distribuye el control entre numerosas partes interesadas, lo que en sí mismo refuerza el sistema.
La consecuencia práctica para los responsables de la toma de decisiones es que la confianza debe especificarse como un requisito del sistema e incluirse en los criterios de contratación junto con las necesidades funcionales, y no tratarse como un elemento intangible que deba resolverse de forma intuitiva tras la revisión técnica.
Fomentar la confianza en la contratación pública con la TAO
Para que la confianza funcione como un requisito del sistema, debe figurar en los documentos de contratación como un criterio cuantificable y no como una mera declaración de intenciones. Esto implica solicitar a los proveedores que demuestren que su código fuente está disponible bajo una licencia abierta reconocida, que cumplen con estándares abiertos específicos, el grado de exhaustividad de sus registros de auditoría y cómo se almacenan, dónde y cómo se procesan los datos, y qué derechos y acceso técnico conserva su institución en caso de que finalice la relación con el proveedor.
Esto también implica evaluar la gobernanza del propio proyecto, ya sea que esté gestionado por una fundación, un organismo de normalización o una sola entidad comercial, y lo que ello supone para su continuidad a largo plazo. Estos criterios no favorecen de forma automática al código abierto, pero, en la práctica, suelen cumplirse de manera más completa y verificable en las plataformas basadas en fundamentos abiertos.
Para las instituciones que están evaluando sistemas de evaluación, TAO Community Edition es la plataforma de evaluación de código abierto utilizada por gobiernos, organismos de certificación y ministerios de educación de todo el mundo. Es totalmente inspeccionable, se basa en estándares y está diseñada para la gobernanza institucional, lo que la convierte en un sistema que se puede verificar, no solo en el que se puede confiar.
Preguntas frecuentes
¿Cómo se verifica la fiabilidad de un sistema de evaluación de código abierto?
Revise el código fuente o encargue una revisión independiente, compruebe el cumplimiento de estándares abiertos como QTI y Caliper, examine los registros de auditoría y los flujos de datos, y evalúe el modelo de gobernanza del proyecto. La confianza se demuestra con pruebas, no con las afirmaciones del proveedor.
¿Qué hace que un sistema de evaluación sea auditable?
Un sistema auditable genera registros completos y a prueba de manipulaciones de las sesiones de prueba, las decisiones de puntuación, el acceso de los usuarios y los cambios de configuración. Estos registros deben almacenarse en formatos abiertos que permitan su revisión independiente mucho tiempo después de que se haya producido el evento, sin depender del proveedor original.
¿Es el software de evaluación de código abierto lo suficientemente seguro para su uso en la administración pública?
Sí, cuando se gestionan adecuadamente, las plataformas de código abierto ya son utilizadas por las juntas nacionales de exámenes y los organismos de certificación. Cumplen con normas de seguridad equivalentes a las de los sistemas propietarios, y su transparencia suele reforzar la seguridad al permitir una revisión continua e independiente.