Nel contesto della valutazione istituzionale, la fiducia viene regolarmente citata come motivo per scegliere o evitare una piattaforma. Tuttavia, spesso questo termine viene utilizzato in contesti che nessuno mette in discussione. «Fidatevi di noi» non è una posizione di governance, e la fiducia basata sulla reputazione non basta a superare una verifica normativa o una contestazione legale.
Quando i risultati delle valutazioni hanno implicazioni legali, professionali o finanziarie, la fiducia non può basarsi sulle garanzie dei fornitori o sulle affermazioni di marketing. Deve essere dimostrabile, verificabile e in linea con gli obblighi di governance dell'istituzione. I sistemi scelti esclusivamente in base al marchio tendono a diventare un peso quando cambiano le politiche, i fornitori aggiornano i propri prodotti o vengono messe in discussione le pratiche relative al trattamento dei dati.
Questo articolo illustra come si concretizza nella pratica la fiducia operativa, quali sono gli elementi che la rendono tangibile e perché l'origine di un sistema – ovvero come è costruito, gestito e reso accessibile alle verifiche – è importante tanto quanto le sue funzionalità.
Punti chiave
- La fiducia nei sistemi di valutazione deve essere dimostrabile, non data per scontata
- La trasparenza e la verificabilità sono fondamentali per la fiducia nelle istituzioni
- I sistemi open source garantiscono una maggiore visibilità e un maggiore controllo sul funzionamento dei sistemi
- La governance e la responsabilità sono importanti quanto le competenze tecniche
- La fiducia si costruisce attraverso la progettazione del sistema, non solo sulle base delle affermazioni dei fornitori
Fiducia nei sistemi di valutazione
Quando si parla di fiducia nel software, il discorso verte quasi sempre sulla reputazione. Tuttavia, mentre la fiducia che deriva da un logo familiare e da un lungo elenco di clienti può essere sufficiente nei contesti di vendita diretta al consumatore, le valutazioni soggette a regolamentazione sono un altro discorso.
In un contesto regolamentato, è necessario passare dalla fiducia percepita a pratiche verificabili. In questo caso, la fiducia si basa su caratteristiche che un’istituzione è in grado di verificare, controllare e dimostrare alle autorità di regolamentazione, ai revisori e alle altre parti interessate. Risponde a domande concrete del tipo: «Possiamo verificare come il sistema assegna i punteggi e riporta i risultati? Possiamo mostrare a qualcuno, su richiesta, cosa è successo in una determinata sessione di test?».
Ponendo domande che tengano conto delle verifiche a cui il vostro sistema di valutazione dovrà probabilmente sottoporsi un giorno, potrete distinguere tra fiducia percepita e fiducia operativa. Una piattaforma con un forte riconoscimento del marchio potrebbe comunque rimanere una "scatola nera" per quanto riguarda gli aspetti tecnici, mentre una piattaforma relativamente sconosciuta potrebbe essere completamente trasparente e regolamentata da un ente di normazione pubblico.
In una revisione degli appalti (o, in casi più gravi, in una revisione post-incidente), l'unica fiducia che conta è quella operativa.
Rendere tangibile la fiducia
Se si desidera realizzare sistemi che garantiscano l'affidabilità operativa, tre caratteristiche sono fondamentali: trasparenza, verificabilità e governance.
Trasparenza
Nei sistemi di valutazione, la trasparenza implica la possibilità di comprendere come il sistema si comporti effettivamente, non solo ciò che dichiara di fare nella scheda tecnica. Ciò comprende la logica di punteggio applicata alle domande, i campi di dati raccolti durante una sessione di test, le modalità di aggregazione e trasmissione dei risultati e il percorso che le informazioni di identificazione personale (PII) seguono all'interno del sistema.
I sistemi proprietari costringono le istituzioni a fare affidamento sulla documentazione e sulle garanzie fornite dai fornitori. I sistemi aperti, invece, consentono alle istituzioni di esaminare direttamente il codice sorgente, commissionare revisioni da parte di terzi e verificare il comportamento del sistema rispetto all'implementazione. Quando ci si può fidare della fonte, non si dipende più da una semplice promessa.
Verificabilità
Per "verificabilità" si intende la capacità del sistema di produrre prove che possano essere utilizzate a sostegno dei punteggi e delle decisioni. Tali prove possono assumere la forma di registri, cronologie delle versioni, registrazioni degli accessi e tracciati decisionali che possono essere ricostruiti ed esaminati a posteriori.
Quando si tratta di valutazioni di grande importanza, questo è un requisito imprescindibile. Se un candidato contesta un risultato, un'autorità di regolamentazione richiede una revisione o un incidente richiede un'analisi delle cause profonde, la verificabilità determina se l'istituzione è in grado di rispondere con sicurezza o se deve rimettersi al fornitore.
Architetture aperte e formati di dati basati su standard come QTI o Caliper rendono i registri di audit portabili e durevoli, anziché bloccati all'interno di uno schema proprietario. In pratica, ciò significa che è possibile ricostruire la sessione di test di un singolo candidato con la massima fedeltà, vedendo quali domande sono state presentate e in quale ordine, quali adattamenti sono stati applicati, come sono state registrate e valutate le risposte, quali regole erano in vigore in quel momento e chi ha avuto accesso al registro in seguito.
Con un livello di ricostruzione di questo tipo, potrai difendere i tuoi risultati davanti ai candidati e alle autorità di regolamentazione.
Governance
La governance non è affascinante, ma è assolutamente fondamentale per la fiducia. Gli strumenti non generano fiducia da soli: lo fanno solo in combinazione con le politiche, i poteri decisionali e le strutture di responsabilità che li circondano. Chi può modificare una regola di valutazione? Dove risiedono i dati e sotto quale giurisdizione? Queste domande sono tanto istituzionali quanto tecniche.
Le catene di responsabilità sono più facili da definire e difendere quando il sistema stesso è trasparente. Se è possibile ricondurre ogni decisione di valutazione a una regola documentata in un codice sorgente aperto, è possibile individuare con precisione l'origine di qualsiasi potenziale problema che dovesse presentarsi. Senza tale tracciabilità, invece, è necessario aprire un ticket di assistenza presso il fornitore e sperare in una risposta tempestiva.
Nessuna piattaforma può salvare un modello di governance debole, ma una governance solida è possibile solo quando il sistema offre un accesso sufficiente per poterlo effettivamente gestire. Insieme, trasparenza, verificabilità e governance trasformano la fiducia da semplice slogan di marketing a una proprietà sistemica ben definita e verificabile.
In che modo l'open source favorisce la fiducia
L'open source non garantisce automaticamente sistemi affidabili. Un progetto open source trascurato e mal gestito non è più affidabile di uno proprietario ben gestito. Ciò che l'open source offre, tuttavia, sono le condizioni strutturali che rendono possibile la fiducia operativa su scala istituzionale, come codici completamente trasparenti che facilitano la verifica dei risultati da parte di enti esaminatori o di certificazione. Queste condizioni sono difficili da replicare in sistemi chiusi.
Visibilità
Grazie all'accesso al codice sorgente, le istituzioni possono verificare il funzionamento del sistema anziché limitarsi ad accettare le dichiarazioni del fornitore. Ciò è fondamentale ogni volta che gli algoritmi influenzano il punteggio, le funzionalità di accessibilità devono soddisfare i requisiti normativi o i flussi di dati devono essere verificati alla luce delle leggi sulla residenza.
Controllo
Le licenze aperte garantiscono che l'istituzione non dipenda dalla strategia di sviluppo, dai prezzi o dalla sopravvivenza di un unico fornitore. Se il fornitore cambia orientamento, viene acquisito o fallisce, l'istituzione conserva sia il diritto che i mezzi tecnici per continuare a operare, adattare il sistema o rivolgersi a un altro fornitore. Per i programmi nazionali con orizzonti temporali pluriennali o addirittura pluridecennali, tale resilienza costituisce di per sé una forma di fiducia.
Allineamento delle norme
Le piattaforme di valutazione open source consolidate tendono a convergere su standard aperti quali QTI, Caliper e LTI perché le comunità che le gestiscono richiedono l’interoperabilità. I sistemi basati su standard rendono i dati portabili, le integrazioni prevedibili e gli audit pratici e gestibili. Questo è uno dei motivi per cui i governi e le scuole si stanno sempre più si rivolgono a software di valutazione open source per i loro problemi di grande importanza. Infatti, gli strumenti di valutazione open source sono passati da una nicchia al mainstream negli appalti del settore pubblico.
L'interoperabilità a livello di item è un altro vantaggio correlato: i contenuti basati su standard, tra cui banche di item gratuite conformi allo standard QTI, possono essere trasferiti tra i sistemi senza necessità di rielaborazione, rafforzando il controllo istituzionale.
L'economia collaborativa
L'ultimo requisito strutturale è un modello di supervisione basato sulla condivisione dei costi. Le istituzioni pubbliche riconoscono sempre più il valore dell' economia collaborativa nel settore dell'istruzione: le infrastrutture costruite e migliorate collettivamente evitano il vincolo e la duplicazione degli approcci basati su un unico fornitore, pur continuando a supportare i servizi commerciali per l’implementazione e l’assistenza. Questo modello distribuisce il controllo tra molti soggetti interessati, il che di per sé rafforza il sistema.
L'implicazione pratica per i responsabili delle decisioni è che la fiducia dovrebbe essere definita come requisito di sistema e inserita nei criteri di appalto insieme alle esigenze funzionali, senza essere considerata un elemento intangibile da risolvere in base all'istinto dopo la valutazione tecnica.
Inserire la fiducia negli appalti con TAO
Affinché la fiducia possa fungere da requisito di sistema, deve figurare nei documenti di gara come criterio misurabile e non come semplice dichiarazione di intenti. Ciò significa chiedere ai fornitori di dimostrare che il loro codice sorgente è disponibile sotto una licenza aperta riconosciuta, che seguono standard aperti specifici, quanto siano completi i loro registri di audit e come vengono archiviati, dove e come vengono trattati i dati, e quali diritti e accesso tecnico la vostra istituzione si riserva qualora il rapporto con il fornitore dovesse cessare.
Ciò significa anche valutare la governance del progetto stesso, a prescindere dal fatto che sia gestito da una fondazione, da un ente di normazione o da una singola entità commerciale, e cosa ciò comporti in termini di continuità a lungo termine. Questi criteri non favoriscono meccanicamente l'open source, ma nella pratica tendono a trovare una risposta più completa e verificabile nelle piattaforme costruite su basi aperte.
Per le istituzioni che stanno valutando i sistemi di valutazione, TAO Community Edition è la piattaforma di valutazione open source utilizzata da governi, enti di certificazione e ministeri dell'istruzione in tutto il mondo. È completamente verificabile, basata su standard e progettata per la governance istituzionale, il che la rende un sistema che puoi verificare, non solo fidarti.
Domande frequenti
Come si fa a garantire l'affidabilità di un sistema di valutazione open source?
Esaminare il codice sorgente o commissionare una revisione indipendente, verificare la conformità a standard aperti quali QTI e Caliper, analizzare i registri di audit e i flussi di dati e valutare il modello di governance del progetto. La fiducia si dimostra con fatti concreti, non con le affermazioni del fornitore.
Cosa rende un sistema di valutazione verificabile?
Un sistema verificabile produce registrazioni complete e a prova di manomissione relative alle sessioni di test, alle decisioni di valutazione, agli accessi degli utenti e alle modifiche di configurazione. Tali registrazioni devono essere archiviate in formati aperti che consentano una revisione indipendente anche molto tempo dopo l'evento, senza dipendere dal fornitore originale.
I software di valutazione open source sono sufficientemente sicuri per essere utilizzati dalle amministrazioni pubbliche?
Sì, se gestite correttamente, le piattaforme open source sono già utilizzate dalle commissioni d'esame nazionali e dagli enti di certificazione. Esse soddisfano standard di sicurezza equivalenti a quelli dei sistemi proprietari e la loro trasparenza spesso rafforza la sicurezza, consentendo una revisione continua e indipendente.