Quando si valutano i software di valutazione, la discussione di solito inizia e finisce con le funzionalità: quali tipi di domande sono supportati? È in grado di gestire i test adattivi? Com'è la dashboard dei report? Queste domande sono un buon punto di partenza, ma non sono sufficienti.
Ciò che spesso viene trascurato è il modo in cui la piattaforma gestisce i contenuti che le vengono affidati. Ad esempio, è possibile esportare gli elementi di valutazione in un formato standard? Saranno ancora disponibili dopo una migrazione verso un altro sistema tra cinque anni? E che dire delle integrazioni con l'ecosistema EdTech più ampio?
Una richiesta di offerta (RFP) ben strutturata non si limita a mettere a confronto le caratteristiche. Funge da punto di controllo strategico nella fase di valutazione, offrendovi l'opportunità di definire caratteristiche, standard, strutture e pratiche relative ai dati che garantiscono la flessibilità a lungo termine. In questo articolo vi mostreremo come strutturare la vostra RFP di valutazione per evitare il vincolo a un unico fornitore nel lungo periodo.
Punti chiave
- Molte richieste di offerta relative alla valutazione falliscono perché non definiscono mai chiaramente il concetto di interoperabilità nei requisiti di appalto.
- Le decisioni in materia di approvvigionamento influenzano direttamente la flessibilità a lungo termine del sistema, in particolare per quanto riguarda la portabilità e l'integrazione dei contenuti.
- I contenuti delle valutazioni dovrebbero essere considerati una risorsa istituzionale a lungo termine, con requisiti di acquisizione che riguardino la titolarità dei dati, il formato di esportazione e la conservazione dei metadati.
- I numeri di certificazione e registrazione EdTech costituiscono un metodo verificabile per garantire che i fornitori rispettino le dichiarazioni relative all'interoperabilità.
Perché molte richieste di offerta per valutazioni non raggiungono l'obiettivo
Le richieste di offerta relative alle valutazioni potrebbero non essere mai documenti scritti alla perfezione o rifiniti nei minimi dettagli, ma possono comunque essere ben ponderate e strategicamente valide. Ciò significa che devono andare oltre le funzionalità attuali, quali i tipi di domande, il sistema di punteggio e l’analisi dei dati, per affrontare questioni strutturali che determineranno la flessibilità dei software di valutazione tra cinque o dieci anni.
Tra tutti gli aspetti più comunemente trascurati, l'interoperabilità è sicuramente la più importante. La maggior parte delle richieste di offerta (RFP) la omette del tutto o la menziona in termini vaghi, come "deve supportare gli standard del settore".
Il problema è che ciò concede ai fornitori la libertà di interpretare la conformità nel modo che più gli conviene, non necessariamente in linea con le esigenze del sistema scolastico. Un fornitore potrebbe sostenere, ad esempio, che il proprio sistema è interoperabile solo perché la sua piattaforma è in grado di importare un file CSV, anche se non è in grado di esportare un pacchetto di valutazione completamente strutturato che si possa facilmente utilizzare su un’altra piattaforma.
Di conseguenza, molte istituzioni si rendono conto di essere state vincolati da un contratto solo quando cercano di migrare. Ad esempio, potrebbero scoprire che gli elementi di valutazione, i metadati, le regole di punteggio e le configurazioni di accessibilità sono vincolati al loro sistema legacy. Replicare queste strutture altrove può richiedere mesi e spesso costa più del previsto.
In che modo le decisioni in materia di approvvigionamento determinano la flessibilità a lungo termine
Il momento più opportuno per affrontare tali questioni è durante la procedura di gara. I team addetti agli appalti che considerano l'interoperabilità un requisito strategico, anziché un semplice dettaglio tecnico, pongono le loro istituzioni sulle basi per un successo a lungo termine.
La piattaforma scelta diventa il contenitore di un corpus sempre più ampio di contenuti di valutazione, il punto di integrazione con altri software, quali i sistemi di gestione dell'apprendimento (LMS), i sistemi informativi sugli studenti (SIS) e gli strumenti di analisi, nonché il meccanismo attraverso il quale soddisfare i requisiti di accessibilità.
Quando scegli una piattaforma senza chiari requisiti di interoperabilità, il tuo istituto perde il controllo. Quando ci si affida all'implementazione proprietaria di un fornitore anziché a formati aperti e standardizzati, trasferibili tra sistemi senza perdita di dati, il costo del cambio di piattaforma aumenta di anno in anno.
Per garantire la flessibilità, non è necessario prevedere il futuro. È invece necessario insistere su standard aperti, funzionalità di esportazione chiaramente definite e impegni contrattuali in materia di portabilità. Tutti questi aspetti possono essere specificati fin dall’inizio nella richiesta di offerta (RFP), quando il vostro potere contrattuale è al massimo.
Come redigere un bando di gara per una valutazione interoperabile
Dire che «la piattaforma deve essere interoperabile» è un po’ come dire che «l’edificio deve essere sicuro». Senza precisazioni, non c’è nulla da far rispettare. Per rendere l’interoperabilità un requisito effettivo, occorre essere precisi e concreti riguardo agli standard di riferimento, alle loro versioni e alle modalità di verifica della conformità.
Lo standard QTI
La Standard di interoperabilità per domande e test (QTI), gestito dal consorzio EdTech 1EdTech, è lo standard più diffuso per il packaging e lo scambio di contenuti di valutazione tra piattaforme. Definisce come gli elementi, i test, le regole di valutazione e i metadati siano strutturati in un formato XML portatile, in modo che i contenuti creati in un sistema possano essere distribuiti in un altro.
Lo standard QTI si è evoluto attraverso diverse versioni principali, tra cui QTI 2.1, 2.2 e 3.0. Ciascuna di queste versioni supporta funzionalità diverse. L'ultima versione, QTI 3.0, aggiunge il supporto nativo per HTML5, i test adattivi al computer e le interazioni personalizzate portabili. Migliora inoltre la coerenza di rendering tra le piattaforme.
I numeri di versione sono importanti: ad esempio, un fornitore certificato per QTI 2.1 potrebbe non essere in grado di gestire contenuti QTI 3.0 e viceversa. Poiché 1EdTech ha interrotto la certificazione QTI 2.1 alla fine del 2024, le richieste di offerta redatte oggi dovrebbero fare riferimento a QTI 3.0, a meno che non vi sia un motivo specifico legato alla compatibilità con le versioni precedenti per non farlo, ad esempio se i vostri dispositivi non lo supportano.
APIP e accessibilità
L'APIP (Accessible Portable Item Protocol) era originariamente uno standard 1EdTech autonomo che garantiva che i contenuti delle valutazioni potessero includere informazioni sull'accessibilità, quali indicazioni per la sintesi vocale, riferimenti alla lingua dei segni, supporto per il Braille o testo alternativo, in un formato portatile.
Con QTI 3.0, queste funzionalità sono state integrate nello standard QTI. Per gli appalti, ciò significa che la richiesta di offerta (RFP) può fare riferimento allo standard anziché basarsi su regole specifiche dei fornitori. Se il vostro istituto ha requisiti specifici in materia di accessibilità, vale la pena notare che la certificazione QTI 3.0 di 1EdTech include un profilo di “Accessibilità avanzata” che comprende il supporto vocale, le descrizioni estese e i riferimenti tattili.
Certificazione > conformità
Qualsiasi fornitore può dichiarare la conformità allo standard QTI, ma la certificazione attesta che il prodotto è stato effettivamente testato in base a standard di conformità definiti e ha ricevuto un numero di registrazione che è possibile verificare nell' 1EdTech TrustEd Apps Directory.
La guida alla redazione delle richieste di offerta (RFP) di 1EdTech raccomanda di specificare la versione e il profilo di certificazione richiesti, nonché di chiedere ai fornitori di indicare il proprio numero di registrazione nelle loro proposte. Qualora i fornitori non abbiano ancora ottenuto la certificazione, la RFP può richiederne il conseguimento entro una data specifica, con conseguenze contrattuali in caso di mancato rispetto della scadenza.
Metadati e contenuti strutturati
Tenete presente che l'interoperabilità non riguarda solo la possibilità di trasferire i contenuti da un sistema all'altro, ma anche il fatto che questi mantengano il loro significato una volta giunti a destinazione.
Ad esempio, se le domande vengono esportate come testo semplice, perderanno la logica di valutazione, l'allineamento al programma didattico, la classificazione di difficoltà e i tag di accessibilità. Lo standard QTI include i metadati degli oggetti didattici (LOM) e consente di applicare i metadati relativi agli standard didattici a livello di pacchetto, risorsa e singolo elemento.
Quando si redige una richiesta di offerta (RFP), è necessario definire quali metadati devono essere inclusi nei pacchetti di valutazione esportati, ad esempio l'allineamento agli standard curricolari (utilizzando il CASE [Competencies and Academic Standards Exchange], indici di difficoltà e discriminazione delle domande, tag relativi all'ambito dei contenuti, informazioni linguistiche e descrittori di accessibilità. In questo modo, le informazioni che rendono una banca dati di domande ricercabile, analizzabile e riutilizzabile non vengono eliminate durante l'esportazione e la migrazione.
Guardando al futuro
Lo standard QTI si è evoluto attraverso diverse versioni e i requisiti di accessibilità stanno diventando sempre più rigorosi in linea con gli aggiornamenti delle Linee guida per l'accessibilità dei contenuti web (WCAG). Inoltre, standard di analisi come Caliper continuano a evolversi. Per rendere la vostra richiesta di offerta a prova di futuro, dovrete tenere conto dei cambiamenti apportati a questi standard.
1EdTech offre una “Dichiarazione di intenti per l'adozione tempestiva degli standard 1EdTech” da includere nei documenti di appalto e chiede ai fornitori di impegnarsi a supportare le specifiche aggiornate entro un lasso di tempo ragionevole. Una richiesta di offerta (RFP) può anche prevedere revisioni periodiche dell’interoperabilità come punti di controllo per rivalutare i fornitori rispetto agli standard attuali. Ciò crea un incentivo continuo a mantenere il supporto, piuttosto che considerare la certificazione come una casella da spuntare una tantum.
I contenuti delle valutazioni costituiscono una risorsa istituzionale a lungo termine
Un item di valutazione ben progettato – che sia stato testato in classe, convalidato, allineato agli standard curricolari, dotato di metadati e progettato per garantire l'accessibilità – rappresenta un investimento significativo. Nel corso del tempo, una banca dati di item diventa una risorsa didattica preziosa e a sé stante. Tuttavia, i processi di approvvigionamento raramente tengono conto di questo aspetto, concentrandosi sulla piattaforma piuttosto che sui contenuti.
Una richiesta di offerta (RFP) che consideri i contenuti di valutazione come una risorsa istituzionale dovrebbe affrontare le questioni relative alla titolarità (i contenuti creati dall'istituzione o per conto di essa appartengono all'istituzione), alla possibilità di esportazione e all'integrità dei metadati. Se non si specifica chiaramente che le piattaforme devono esportare tutti i contenuti in un pacchetto conforme allo standard QTI che ne preservi la piena integrità, non si disporrà di alcuna base contrattuale su cui insistere in tal senso in un secondo momento.
Allo stesso tempo, l'inserimento dell'interoperabilità tra i criteri non richiede una revisione completa della vostra richiesta di offerta. Si tratta piuttosto di apportare alcune modifiche mirate. Il fornitore possiede una certificazione 1EdTech QTI in corso di validità e, in caso affermativo, a quale livello? È in grado di dimostrare l'effettiva esportazione di contenuti in formato QTI o può fornirvi esempi di migrazioni di contenuti già realizzate per altre istituzioni?
Queste domande servono a verificare se il modello di business di un fornitore è compatibile con l'esigenza di flessibilità dell'istituzione. I fornitori che hanno investito nella certificazione degli standard le accoglieranno con favore, mentre quelli che non l’hanno fatto cercheranno di eludere la domanda o forniranno vaghe rassicurazioni. Il vostro processo di valutazione dovrebbe essere concepito in modo da distinguere tra i due.
Trasformare gli appalti in un punto cardine strategico
È proprio nell'ambito degli appalti che viene definita la strategia di valutazione a lungo termine. Ogni requisito contenuto in una richiesta di offerta (RFP), dagli standard specificati alle modalità di definizione della titolarità dei contenuti, determinerà la capacità del vostro istituto di adattarsi, migrare e mantenere il controllo del proprio ecosistema di valutazione negli anni a venire.
Per tenere conto di questa prospettiva a lungo termine, dovrai porre domande relative alle versioni e alla certificazione del QTI, alla proprietà dei dati e ai formati di esportazione, nonché all'accessibilità e alla portabilità. Non costa nulla porre queste domande, che in futuro potrebbero farti risparmiare molto tempo e fatica.
Se il vostro istituto sta per avviare un ciclo di appalto per la valutazione, esaminate il vostro attuale modello di bando di gara e verificate se definisce l'interoperabilità in termini giuridicamente vincolanti. Se non tutela i vostri contenuti come patrimonio dell'istituto, è giunto il momento di apportare alcune modifiche.