Dans le domaine de l'évaluation institutionnelle, la confiance est régulièrement citée comme un critère déterminant pour choisir ou écarter une plateforme. Cependant, ce terme revêt souvent une portée bien plus large que ce que l'on imagine. « Faites-nous confiance » ne constitue pas une position de gouvernance, et la confiance fondée sur la réputation ne suffira pas à vous permettre de passer le cap d'un examen réglementaire ou d'une contestation judiciaire.
Lorsque les résultats d'une évaluation ont des implications juridiques, professionnelles ou financières, la confiance ne peut reposer uniquement sur les promesses des fournisseurs ou leurs arguments marketing. Elle doit être vérifiable, contrôlable et conforme aux obligations de gouvernance de l'établissement. Les systèmes choisis uniquement sur la base de la notoriété de la marque risquent de devenir un handicap lorsque les politiques évoluent, que les fournisseurs procèdent à des mises à jour ou que les pratiques en matière de données sont remises en question.
Cet article explique en quoi consiste concrètement la confiance opérationnelle, ce qui la rend tangible, et pourquoi l'origine d'un système — la manière dont il est conçu, géré et mis à disposition pour inspection — est tout aussi importante que ses fonctionnalités.
Principaux points à retenir
- La confiance dans les systèmes d'évaluation doit être démontrable, et non présumée
- La transparence et la vérifiabilité sont essentielles pour instaurer la confiance envers les institutions
- Les systèmes open source offrent une meilleure visibilité et un meilleur contrôle sur le fonctionnement des systèmes
- La gouvernance et la responsabilité sont tout aussi importantes que les compétences techniques
- La confiance se construit grâce à la conception du système, et pas seulement grâce aux promesses des fournisseurs
Confiance dans les systèmes d'évaluation
La plupart des discussions sur la confiance dans les logiciels tournent systématiquement autour de la réputation. Mais si la confiance que suscitent un logo familier et une longue liste de clients peut suffire dans les environnements de vente directe aux consommateurs, il en va autrement dans le cadre des évaluations réglementées.
Dans un environnement réglementé, il faut passer d'une confiance perçue à des pratiques vérifiables. Dans ce contexte, la confiance repose sur des caractéristiques qu'une institution peut vérifier, contrôler et démontrer aux autorités de régulation, aux auditeurs et aux autres parties prenantes. Elle répond à des questions précises telles que : « Pouvons-nous vérifier comment le système attribue les notes et communique les résultats ? Pouvons-nous montrer à quiconque, sur simple demande, ce qui s'est passé lors d'une session de test donnée ? »
En posant des questions qui tiennent compte des critiques auxquelles votre système d'évaluation sera probablement confronté un jour, vous pouvez faire la distinction entre la confiance perçue et la confiance opérationnelle. Une plateforme jouissant d'une forte notoriété peut tout de même rester une « boîte noire » sur le plan technique, tandis qu'une plateforme relativement méconnue peut être totalement transparente et régie par un organisme de normalisation public.
Lors d'un examen des marchés publics (ou, plus douloureusement encore, d'un examen a posteriori), la confiance opérationnelle est la seule qui compte.
Rendre la confiance tangible
Si vous cherchez à mettre en place des systèmes qui inspirent confiance sur le plan opérationnel, trois caractéristiques sont essentielles : la transparence, la traçabilité et la gouvernance.
Transparence
Dans les systèmes d'évaluation, la transparence implique de pouvoir observer le fonctionnement réel du système, et pas seulement de se fier aux affirmations figurant dans la fiche technique. Cela inclut la logique de notation appliquée aux items, les champs de données collectés pendant une session de test, la manière dont les résultats sont agrégés et transmis, ainsi que le parcours des informations personnelles identifiables (PII) tout au long du processus.
Les systèmes propriétaires obligent les institutions à se fier à la documentation et aux garanties fournies par les fournisseurs. Les systèmes ouverts, en revanche, permettent aux institutions d'examiner directement le code source, de faire réaliser des audits par des tiers et de vérifier le comportement du logiciel par rapport à sa mise en œuvre. Lorsque l'on peut se fier à la source, on ne dépend plus d'une simple promesse.
Traçabilité
La traçabilité signifie que le système génère des preuves pouvant servir à justifier les notes et les décisions. Il peut s'agir de journaux, d'historique des versions, de registres d'accès et de pistes de décision pouvant être reconstitués et examinés a posteriori.
Dans le cadre d'évaluations à enjeux élevés, c'est une condition incontournable. Si un candidat conteste un résultat, si une autorité de régulation demande une révision ou si un incident nécessite une analyse des causes profondes, c'est la traçabilité qui détermine si l'établissement peut répondre en toute confiance ou s'il doit s'en remettre au fournisseur.
Les architectures ouvertes et les formats de données basés sur des normes, tels que QTI ou Caliper rendent les dossiers d'audit portables et durables, plutôt que de les enfermer dans un schéma propriétaire. Concrètement, cela signifie que vous pouvez reconstituer la session d'examen d'un candidat avec une fidélité totale : voir quelles questions ont été posées et dans quel ordre, quelles adaptations ont été appliquées, comment les réponses ont été saisies et notées, quelles règles étaient en vigueur à ce moment-là, et qui a consulté le dossier par la suite.
Avec un tel niveau de rigueur, vous serez en mesure de défendre vos résultats devant les candidats et les autorités de régulation.
Gouvernance
La gouvernance n'a rien de prestigieux, mais elle est absolument essentielle pour instaurer la confiance. Les outils ne suffisent pas à eux seuls à instaurer la confiance : ils ne le font qu'en combinaison avec les politiques, les pouvoirs de décision et les structures de responsabilité qui les encadrent. Qui peut modifier une règle de notation ? Où se trouvent les données, et sous quelle juridiction? Ces questions sont autant d’ordre institutionnel que technique.
Les chaînes de responsabilité sont plus faciles à définir et à justifier lorsque le système lui-même est transparent. Si vous pouvez faire remonter chaque décision de notation à une règle documentée dans un code source ouvert, vous pouvez identifier précisément l'origine de tout problème potentiel qui pourrait survenir. Sans cette traçabilité, en revanche, vous devez ouvrir un ticket d'assistance auprès du fournisseur et espérer obtenir une réponse rapide.
Aucune plateforme ne peut sauver un modèle de gouvernance défaillant, mais une gouvernance solide n'est possible que si le système vous donne suffisamment de moyens pour réellement le gérer. Ensemble, la transparence, la vérifiabilité et la gouvernance font de la confiance non plus un simple argument marketing, mais une propriété intrinsèque du système, conçue et vérifiable.
Comment l'open source favorise la confiance
L'open source ne garantit pas automatiquement la fiabilité des systèmes. Un projet open source mal géré et dont la maintenance est négligée n'est pas plus fiable qu'un projet propriétaire bien géré. Ce que l'open source offre toutefois, ce sont des conditions structurelles qui permettent d'instaurer une confiance opérationnelle à l'échelle institutionnelle, telles que des bases de code entièrement transparentes qui permettent aux organismes d'examen ou de certification de vérifier facilement les résultats. Ces conditions sont difficiles à reproduire dans des systèmes fermés.
Visibilité
En ayant accès au code source, les institutions peuvent vérifier le fonctionnement du système plutôt que de se contenter des affirmations du fournisseur. Cela revêt une importance particulière lorsque des algorithmes influencent la notation, que les fonctionnalités d'accessibilité doivent respecter les exigences réglementaires ou que les flux de données doivent être validés au regard des lois sur la résidence des données.
Commande
Le recours à des licences ouvertes signifie que l'établissement ne dépend pas de la stratégie de développement, de la tarification ou même de la pérennité d'un seul fournisseur. Si ce dernier change d'orientation, est racheté ou fait faillite, l'établissement conserve à la fois le droit et les moyens techniques de poursuivre ses activités, d'adapter le système ou de faire appel à un autre fournisseur. Pour les programmes nationaux s'inscrivant dans une perspective pluriannuelle, voire pluridécennale, cette résilience constitue en soi une forme de confiance.
Harmonisation des normes
Les plateformes d'évaluation open source bien établies ont tendance à s'aligner sur des normes ouvertes telles que QTI, Caliper et LTI , car les communautés qui les gèrent ont besoin d’interopérabilité. Les systèmes basés sur des normes rendent les données portables, les intégrations prévisibles et les audits pratiques et gérables. C’est en partie pour cette raison que les gouvernements et les établissements scolaires se tournent de plus en plus se tournent de plus en plus vers des logiciels d’évaluation open source pour résoudre leurs problèmes cruciaux. En effet, les outils d’évaluation open source sont passés d'un marché de niche à un marché grand public dans les marchés publics.
L'interopérabilité au niveau des items constitue un autre avantage connexe : les contenus basés sur des normes, y compris les banques d'items libres conformes au format QTI, peuvent être transférées d'un système à l'autre sans modification, ce qui renforce le contrôle de l'établissement.
L'économie collaborative
La dernière condition structurelle est un modèle de partage des coûts et de supervision. Les institutions publiques reconnaissent de plus en plus la valeur de économie collaborative dans le domaine de l'éducation: des infrastructures construites et améliorées collectivement évitent le verrouillage et les doublons liés aux approches reposant sur un fournisseur unique, tout en continuant à s’appuyer sur des services commerciaux pour la mise en œuvre et l’assistance. Ce modèle répartit la surveillance entre de nombreuses parties prenantes, ce qui, en soi, renforce la résilience du système.
Concrètement, cela signifie pour les décideurs que la confiance doit être définie comme une exigence système et intégrée aux critères d'appel d'offres au même titre que les besoins fonctionnels ; elle ne doit pas être considérée comme un élément intangible à régler au feeling après l'examen technique.
Instaurer la confiance dans les marchés publics avec TAO
Pour que la confiance soit considérée comme une exigence système, elle doit figurer dans les documents d'appel d'offres sous la forme d'un critère mesurable, et non pas simplement comme une formulation vague. Cela implique de demander aux fournisseurs de démontrer que leur code source est disponible sous une licence libre reconnue, qu'ils respectent des normes ouvertes précises, d'indiquer le degré d'exhaustivité de leurs journaux d'audit et la manière dont ceux-ci sont conservés, de préciser où et comment les données sont traitées, ainsi que de préciser quels droits et accès techniques votre institution conserve en cas de cessation de la relation avec le fournisseur.
Cela implique également d'évaluer la gouvernance du projet lui-même, qu'il soit géré par une fondation, un organisme de normalisation ou une seule entité commerciale, ainsi que les implications de ce choix pour sa pérennité à long terme. Ces critères ne favorisent pas systématiquement l'open source, mais dans la pratique, ce sont généralement les plateformes reposant sur des fondements ouverts qui y répondent de manière plus complète et plus vérifiable.
Pour les établissements qui évaluent des systèmes d'évaluation, TAO Community Edition est la plateforme d'évaluation open source utilisée par les gouvernements, les organismes de certification et les ministères de l'Éducation du monde entier. Entièrement vérifiable, conforme aux normes et conçue pour la gouvernance institutionnelle, c'est un système que vous pouvez vérifier, et pas seulement en qui vous pouvez avoir confiance.
FAQ
Comment s'assurer de la fiabilité d'un système d'évaluation open source ?
Examinez le code source ou faites réaliser un audit indépendant, vérifiez la conformité aux normes ouvertes telles que QTI et Caliper, examinez les journaux d'audit et les flux de données, et évaluez le modèle de gouvernance du projet. La confiance se démontre par des preuves, et non par les affirmations du fournisseur.
Qu'est-ce qui rend un système d'évaluation vérifiable ?
Un système vérifiable génère des enregistrements complets et inviolables concernant les sessions de test, les décisions de notation, les accès des utilisateurs et les modifications de configuration. Ces enregistrements doivent être stockés dans des formats ouverts permettant une vérification indépendante longtemps après les faits, sans dépendre du fournisseur d'origine.
Les logiciels d'évaluation open source sont-ils suffisamment sûrs pour être utilisés par les pouvoirs publics ?
Oui, lorsqu'elles sont correctement gérées, les plateformes open source sont déjà utilisées par les commissions d'examen nationales et les organismes de certification. Elles répondent à des normes de sécurité équivalentes à celles des systèmes propriétaires, et leur transparence renforce souvent la sécurité en permettant un contrôle continu et indépendant.