Lorsque l'on évalue un logiciel d'évaluation, la discussion commence et se termine généralement par les fonctionnalités : quels types de questions sont pris en charge ? Le logiciel permet-il de réaliser des tests adaptatifs ? À quoi ressemble le tableau de bord des rapports ? Ces questions constituent un bon point de départ, mais elles ne vont pas assez loin.
On a souvent tendance à négliger la manière dont la plateforme gère les contenus qui lui sont confiés. Par exemple, les éléments d'évaluation peuvent-ils être exportés dans un format standard ? Seront-ils toujours disponibles après une migration vers un autre système dans cinq ans ? Qu'en est-il des intégrations avec l'écosystème EdTech au sens large ?
Un appel d'offres bien conçu ne se limite pas à une simple comparaison des fonctionnalités. Il constitue un levier stratégique dans le processus d'évaluation, vous permettant de définir les fonctionnalités, les normes, les architectures et les pratiques en matière de données qui garantissent une flexibilité à long terme. Dans cet article, nous vous montrerons comment structurer votre appel d'offres d'évaluation afin d'éviter toute dépendance vis-à-vis d'un fournisseur sur le long terme.
Principaux points à retenir
- De nombreux appels d'offres en matière d'évaluation échouent parce qu'ils ne définissent jamais clairement la notion d'interopérabilité dans les critères d'attribution.
- Les décisions en matière d'approvisionnement ont une incidence directe sur la flexibilité à long terme du système, notamment en ce qui concerne la portabilité et l'intégration des contenus.
- Le contenu des évaluations doit être considéré comme un actif institutionnel à long terme, les conditions d'acquisition devant porter sur la propriété des données, le format d'exportation et la conservation des métadonnées.
- Les numéros de certification et d'enregistrement EdTech constituent un moyen vérifiable de garantir que les fournisseurs respectent leurs engagements en matière d'interopérabilité.
Pourquoi tant d'appels d'offres en matière d'évaluation échouent
Les appels d'offres relatifs aux évaluations ne seront peut-être jamais des documents parfaitement rédigés et peaufinés, mais ils peuvent néanmoins être mûrement réfléchis et stratégiquement solides. Cela signifie qu'ils doivent aller au-delà des fonctionnalités actuelles, telles que les types de questions, la notation et l'analyse des données, pour aborder les questions structurelles qui détermineront la flexibilité des logiciels d'évaluation dans cinq ou dix ans.
Parmi tous les domaines les plus souvent négligés, l'interopérabilité est sans doute la plus importante. La plupart des appels d'offres l'omettent complètement ou y font référence en termes vagues, comme « doit prendre en charge les normes de l'industrie ».
Le problème, c'est que cela laisse aux fournisseurs toute latitude pour interpréter la conformité comme bon leur semble, sans que cela corresponde nécessairement aux besoins du système scolaire. Un fournisseur pourrait par exemple affirmer que son système est interopérable parce que sa plateforme permet d'importer un fichier CSV, alors qu'elle ne permet pas d'exporter un dossier d'évaluation entièrement structuré que l'on pourrait facilement utiliser sur une autre plateforme.
En conséquence, de nombreux établissements se rendent compte qu’ils sont liées par un contrat quand elles tentent de migrer. Elles peuvent par exemple constater que les éléments d’évaluation, les métadonnées, les règles de notation et les configurations d’accessibilité sont verrouillés dans leur ancien système. La reproduction de ces structures ailleurs peut prendre des mois et coûte souvent plus cher que prévu.
Comment les décisions d'approvisionnement influencent la flexibilité à long terme
C'est au cours du processus d'appel d'offres qu'il convient d'aborder ces questions. Les équipes chargées des marchés publics qui considèrent l'interopérabilité comme une exigence stratégique, plutôt que comme un simple détail technique, assurent à leur institution un succès durable.
La plateforme que vous choisissez servira de support à un ensemble croissant de contenus d'évaluation, de point d'intégration pour d'autres logiciels, tels que les systèmes de gestion de l'apprentissage (LMS), les systèmes d'information sur les étudiants (SIS) et les outils d'analyse, ainsi que de mécanisme vous permettant de respecter les exigences en matière d'accessibilité.
Lorsque vous choisissez une plateforme sans critères d'interopérabilité clairement définis, votre établissement perd le contrôle. Lorsque vous vous fiez à la mise en œuvre propriétaire d'un fournisseur plutôt qu'à des formats ouverts et normalisés, transférables d'un système à l'autre sans perte de données, le coût de changement de plateforme augmente d’année en année.
Pour garantir la flexibilité, il n'est pas nécessaire de prédire l'avenir. Il faut plutôt insister sur l'adoption de normes ouvertes, sur des capacités d'exportation clairement définies et sur des engagements contractuels en matière de portabilité. Tous ces éléments peuvent être précisés dès le début dans l'appel d'offres, lorsque votre pouvoir de négociation est à son maximum.
Comment rédiger un appel d'offres pour un système d'évaluation interopérable
Dire que « la plateforme doit être interopérable », c'est un peu comme dire que « le bâtiment doit être sûr ». Sans précisions, il n'y a rien à faire respecter. Pour que l'interopérabilité devienne une véritable exigence, il faut être précis et concret quant aux normes de référence, à leurs versions et à la manière dont la conformité sera vérifiée.
La norme QTI
La norme d'interopérabilité des questions et des tests (QTI), gérée par le consortium EdTech 1EdTech, est la norme la plus largement utilisée pour le conditionnement et l'échange de contenus d'évaluation entre différentes plateformes. Elle définit la manière dont les items, les tests, les règles de notation et les métadonnées sont structurés dans un format XML portable, afin que le contenu créé dans un système puisse être diffusé dans un autre.
La norme QTI a connu plusieurs versions majeures, notamment les versions 2.1, 2.2 et 3.0. Chacune de ces versions prend en charge des fonctionnalités différentes. La dernière version, QTI 3.0, ajoute la prise en charge native du HTML5, les tests adaptatifs par ordinateur et les interactions personnalisées portables. Elle améliore également la cohérence du rendu sur toutes les plateformes.
Les numéros de version ont leur importance : par exemple, un fournisseur certifié pour la norme QTI 2.1 pourrait ne pas être en mesure de prendre en charge du contenu QTI 3.0, et inversement. Étant donné que 1EdTech a mis fin à la certification QTI 2.1 fin 2024, les appels d'offres rédigés aujourd'hui devraient faire référence à la norme QTI 3.0, sauf s'il existe une raison spécifique liée à la compatibilité ascendante de ne pas le faire, par exemple si vos appareils ne la prennent pas en charge.
APIP et accessibilité
L'APIP (Accessible Portable Item Protocol) était à l'origine une norme 1EdTech distincte qui garantissait que les contenus d'évaluation pouvaient intégrer des informations d'accessibilité, telles que des indications pour la synthèse vocale, des références en langue des signes, la prise en charge du braille ou du texte alternatif, dans un format portable.
Avec QTI 3.0, ces fonctionnalités ont été intégrées à la norme QTI. Pour les services d'approvisionnement, cela signifie que l'appel d'offres peut se référer à cette norme plutôt que de s'appuyer sur les règles propres à chaque fournisseur. Si votre établissement a des exigences spécifiques en matière d'accessibilité, il est bon de noter que la certification QTI 3.0 de 1EdTech comprend un profil « Accessibilité renforcée » qui couvre l'aide vocale, les descriptions détaillées et les repères tactiles.
Certification > conformité
N'importe quel fournisseur peut affirmer que son produit est conforme à la norme QTI, mais la certification signifie que le produit a effectivement été testé par rapport à des normes de conformité définies et qu'il a reçu un numéro d'enregistrement que vous pouvez vérifier dans le répertoire TrustEd Apps de 1EdTech.
Les recommandations de 1EdTech en matière d'appel d'offres préconisent de préciser la version et le profil de certification requis, ainsi que de demander aux fournisseurs d'indiquer leur numéro d'enregistrement dans leurs propositions. Lorsque les fournisseurs n'ont pas encore obtenu la certification, l'appel d'offres peut exiger qu'ils l'obtiennent avant une date précise, avec des conséquences contractuelles en cas de non-respect de ce délai.
Métadonnées et contenu structuré
Gardez à l'esprit que l'interopérabilité ne se résume pas à la simple possibilité de transférer du contenu d'un système à l'autre. Il s'agit également de savoir si ce contenu conserve tout son sens une fois arrivé à destination.
Par exemple, si les questions sont exportées au format texte brut, elles perdront leur logique de notation, leur alignement sur le programme scolaire, leur classification par niveau de difficulté et leurs balises d'accessibilité. La norme QTI couvre les métadonnées des objets d'apprentissage (LOM) et permet d'appliquer les métadonnées relatives aux normes du programme scolaire aux niveaux du paquet, de la ressource et de l'élément.
Lorsque vous rédigez un appel d'offres, vous devez préciser quelles métadonnées doivent figurer dans les dossiers d'évaluation exportés, par exemple l'alignement sur les normes du programme d'études (à l'aide du CASE [Competencies and Academic Standards Exchange]), la difficulté des items et les indices de discrimination, les balises de domaine de contenu, les informations linguistiques et les descripteurs d’accessibilité. Ainsi, les informations qui rendent une banque d’items consultable, analysable et réutilisable ne sont pas supprimées lors de l’exportation et de la migration.
Dans l'attente
La norme QTI a évolué au fil de plusieurs versions, et les exigences en matière d'accessibilité se renforcent parallèlement aux mises à jour des Directives pour l'accessibilité des contenus Web (WCAG). De plus, les normes d'analyse telles que Caliper continuent de se développer. Pour que votre appel d'offres soit à l'épreuve du temps, vous devrez tenir compte des modifications apportées à ces normes.
1EdTech propose une «Déclaration d'intention d'adopter les normes 1EdTech en temps opportun» à inclure dans les documents d'appel d'offres et demande aux fournisseurs de s'engager à prendre en charge les spécifications mises à jour dans un délai raisonnable. Un appel d'offres peut également prévoir des évaluations périodiques de l'interopérabilité afin de réévaluer les fournisseurs au regard des normes en vigueur. Cela crée une incitation permanente à maintenir la prise en charge plutôt que de considérer la certification comme une simple case à cocher.
Le contenu des évaluations constitue un atout institutionnel à long terme
Un item d'évaluation bien conçu — c'est-à-dire qui a été testé en classe, validé, aligné sur les normes du programme scolaire, enrichi de métadonnées et conçu dans un souci d'accessibilité — représente un investissement considérable. Au fil du temps, une banque d'items devient une ressource pédagogique précieuse et unique. Pourtant, les processus d'achat en tiennent rarement compte, se concentrant davantage sur la plateforme que sur le contenu.
Un appel d'offres qui considère le contenu des évaluations comme un actif institutionnel doit aborder les questions de propriété (le contenu créé par ou pour l'établissement appartient à celui-ci), de capacité d'exportation et d'intégrité des métadonnées. Si vous ne précisez pas clairement que les plateformes doivent exporter l'ensemble du contenu dans un fichier conforme au format QTI qui préserve son intégrité totale, vous ne disposerez d'aucun fondement contractuel pour insister sur ce point ultérieurement.
Par ailleurs, l'intégration de l'interopérabilité parmi les critères ne nécessite pas de remanier entièrement votre appel d'offres. Il suffit simplement d'y ajouter quelques éléments ciblés. Le fournisseur détient-il une certification 1EdTech QTI en cours de validité, et si oui, à quel niveau ? Peut-il démontrer une exportation effective de contenu au format QTI, ou peut-il vous renvoyer vers des migrations de contenu qu'il a réalisées pour d'autres établissements ?
Ces questions permettent de vérifier si le modèle économique d'un fournisseur est compatible avec le besoin de flexibilité de l'établissement. Les fournisseurs qui ont investi dans la certification aux normes les accueilleront favorablement, tandis que ceux qui ne l'ont pas fait éluderont la question ou donneront des assurances vagues. Votre processus d'évaluation doit être conçu pour faire la distinction entre les deux.
Faire de l'approvisionnement un pivot stratégique
C'est au stade de l'appel d'offres que se définit la stratégie d'évaluation à long terme. Chaque exigence formulée dans un appel d'offres, qu'il s'agisse des normes que vous spécifiez ou de la manière dont vous définissez la propriété des contenus, déterminera la capacité de votre établissement à s'adapter, à évoluer et à garder le contrôle de son écosystème d'évaluation pour les années à venir.
Pour intégrer cette vision à long terme, vous devrez poser des questions concernant les versions et la certification du QTI, la propriété des données et les formats d'exportation, ainsi que l'accessibilité et la portabilité. Ces questions ne vous coûteront rien et pourraient vous faire gagner beaucoup de temps et d'efforts à l'avenir.
Si votre établissement s'apprête à entamer un cycle d'appel d'offres pour l'évaluation, examinez votre modèle actuel d'appel d'offres et demandez-vous s'il définit l'interopérabilité en termes juridiquement contraignants. S'il ne protège pas votre contenu en tant qu'actif institutionnel, il est temps d'y apporter quelques modifications.