Points clés des directives de l'ATP pour l'évaluation basée sur la technologie

Femme utilisant un ordinateur dans un laboratoire informatique montrant l'utilisation d'outils d'évaluation de l'enseignement supérieur dans la salle de classe.

Les écoles et les districts scolaires du monde entier sont de plus en plus numérisés, avec de nombreuses options d'enseignement en ligne et des plateformes d'apprentissage numérique à la disposition des élèves et des enseignants. Avec ces options d'apprentissage nouvelles et innovantes, il est nécessaire de s'assurer que les pratiques d'évaluation basées sur la technologie sont justes et efficaces pour mesurer la croissance et les résultats des élèves. Cependant, les meilleures pratiques pour les évaluations papier et crayon en classe et les évaluations en ligne ne sont pas les mêmes. 

C'est pourquoi l l'Association of Test Publishers (ATP) a développé un guide approfondi sur la manière de mettre en œuvre et d'utiliser les évaluations en ligne, notamment en ce qui concerne la conception, l'exécution et la notation des évaluations numériques. L'ATP a également fourni des directives concernant la sécurité, la validité, la fiabilité et l'équité des tests dans le guide. En bref, les Guidelines for Technology-Based Assessment constituent le point de départ idéal pour les administrateurs de tests ou les responsables de districts scolaires lorsqu'ils développent des évaluations en ligne.

Qu'est-ce qui est inclus ?

Le guide est complet et comprend des chapitres sur une variété de sujets et de questions liés aux évaluations numériques. Les chapitres du guide comprennent : 

  • Développement et création de tests (y compris la gamification et les items améliorés par la technologie)
  • Conception et assemblage de tests - linéaire ou adaptatif
  • Tester les environnements de livraison (y compris les navigateurs Web, mobiles, hors ligne, verrouillés, les perturbations et l'interopérabilité).
  • Scoring-automatisé et assisté par la technologie
  • Rapports de résultats numériques
  • Gestion des données (stockage, maintenance, intégrité, intégration)
  • Qualité psychométrique et technique
  • Sécurité des tests
  • La confidentialité des données dans l'évaluation basée sur la technologie
  • Équité et accessibilité
  • Considérations relatives aux tests mondiaux, y compris la traduction

Chaque chapitre a été rédigé par un expert dans ce domaine et revu par d'autres experts afin de s'assurer que les informations contenues dans le guide sont exactes et reflètent les meilleures pratiques du secteur. Le guide est conçu pour être utilisé dans le cadre d'évaluations sommatives ou d'évaluations à enjeux élevés, bien que les principes, notamment en ce qui concerne la conception des tests, puissent également être appliqués aux éléments suivants évaluations formatives également.

Principaux points à retenir 

Bien qu'il y ait beaucoup d'informations à trier dans le guide, cinq sujets clés ressortent. Il s'agit des points à retenir concernant les éléments améliorés par la technologie et l'évaluation par le jeu, l'interopérabilité, l'équité et l'accessibilité, la notation et la sécurité. En tenant compte de chacun de ces aspects, un enseignant ou un concepteur de tests peut s'assurer que son évaluation basée sur la technologie mesure ce qu'il espère mesurer, de manière équitable, tout en maintenant un niveau élevé de confidentialité et de sécurité. 

Items améliorés par la technologie et évaluation par le jeu

L'une des meilleures façons d'utiliser la technologie pour améliorer l'apprentissage est de recourir à des Interactions personnalisées portables ou PCI. Les PCI donnent aux étudiants une grande liberté pour démontrer leur apprentissage, dans un contexte et avec des résultats multiples, en leur permettant d'interagir avec des simulations de type jeu dans un test.

Lors de la création d'un élément de test, la clé est de commencer avec l'objectif final - ce que la question doit mesurer et permettre aux élèves de démontrer - à l'esprit. Cela signifie que lorsqu'on utilise des éléments améliorés par la technologie (EAT) ou des évaluations basées sur des jeux, il est important de commencer par prendre en compte la norme d'apprentissage mesurée et d'être conçu pour permettre aux élèves de démontrer leur compréhension de ces compétences. Voici quelques autres directives clés à prendre en compte:

  • S'assurer que les IET fonctionneront sur les appareils des élèves - les élèves peuvent passer l'évaluation sur une tablette, un ordinateur portable, un Chromebook ou un autre appareil, assurez-vous que l'élève peut voir l'élément sans trop défiler. 
  • Fournir des tutoriels - les étudiants doivent comprendre comment utiliser la technologie avant de commencer, afin de ne pas s'enliser en essayant de passer l'évaluation et les résultats montrent ce que l'étudiant sait, et non pas comment il a géré la technologie. 
  • Réduire la variance de non-pertinence de la construction ou CIV - dans la mesure du possible, les concepteurs de tests doivent s'assurer que le contenu et les compétences de l'élève restent au premier plan. Les ITE doivent être faciles d'accès et élaborés en tenant compte de la personne qui passe le test. 

Interopérabilité

Il existe une grande variété d'outils et de plateformes d'évaluation basés sur la technologie que les écoles mettent en œuvre pour enseigner et évaluer les élèves. Lors du développement d'un logiciel d'évaluation, celui-ci doit pouvoir accéder à des logiciels d'autres plates-formes et communiquer avec eux afin de garantir un transfert d'informations fluide et sécurisé d'un endroit à l'autre. 

Pour les enseignants, cela signifie qu'une évaluation peut être donnée sur une plate-forme et que les scores ou les données des élèves peuvent être analysés par d'autres plates-formes ou des livres de notes conçus à cet effet. Cette interopérabilité garantit que les éducateurs peuvent exploiter efficacement les données de développer des évaluations plus attrayantes et d'avoir un impact positif sur le développement des élèves.

Équité et accessibilité

À bien des égards, l'évaluation basée sur la technologie met les étudiants sur un pied d'égalité et permet une évaluation de manière plus juste et équitable. Cependant, il y a quelques considérations clés concernant l'équité et l'accessibilité, notamment :

  • Considérations relatives à l'ELL - les évaluations doivent tenir compte des besoins linguistiques et prévoir des adaptations et des modifications appropriées sur la plateforme. Pour les tests numériques, cela peut signifier fournir des tutoriels qui s'appuient fortement sur des instructions illustrées ou inclure différentes traductions de la façon de passer l'évaluation. 
  • Étudiants ayant des problèmes de santé mentale - les plates-formes numériques de test doivent garantir que les aménagements sont facilement mis en œuvre par les instructeurs et sont également faciles à utiliser par les étudiants tout au long du test. 
  • Élèves sans expérience des plateformes numériques - tous les élèves n'ont pas d'expertise en matière de technologie et d'utilisation de la technologie pour l'évaluation. Les éducateurs et les concepteurs de tests doivent veiller à ce que les tests soient conçus de manière simple et intuitive afin que les élèves puissent s'engager dans le matériel de manière aussi authentique que possible. 

Scoring

La notation des évaluations basée sur la technologie peut être divisée en deux sections : la notation automatisée et la notation humaine. Pour les évaluations automatisées, ou notées par l'IA, il est essentiel que les concepteurs de tests emploient un processus de contrôle de la qualité rigoureux et complet pour la notation des évaluations et la communication des scores aux élèves et aux familles. Cela signifie que le logiciel doit identifier les éléments corrects et incorrects afin de fournir des données précises. 

Cependant, toutes les questions ne peuvent pas être notées automatiquement. Pour les questions notées par des humains, il y a quelques points à retenir :

  • Ces éléments doivent toujours être accompagnés d'une rubrique clairement définie afin que les élèves sachent ce qu'ils sont censés faire. 
  • Les évaluateurs doivent recevoir une formation adéquate pour éviter les préjugés et garantir l'exactitude des tests. 
  • Les plateformes technologiques permettant de stocker et d'afficher les réponses des élèves doivent être conviviales et intuitives. 

Vie privée et sécurité

Travailler avec des données de test sensibles est une préoccupation majeure pour les développeurs de tests. De nombreux tests étant proposés en ligne et via des interactions basées sur le cloud, le risque de violation des données est élevé. Pour maintenir l'intégrité du test, les développeurs de tests doivent agir pour prévenir une violation avant qu'elle ne se produise, employer des stratégies de dissuasion avant et pendant le test, et développer un plan de réponse en cas de tricherie ou de violation de données. 

Il est tout aussi important de tenir compte des informations personnelles identifiables que le test peut avoir recueillies. La mise en place d'un système de sécurité robuste permettant de maintenir un niveau élevé de confidentialité garantira la sécurité des données des élèves. Il ne s'agit pas seulement d'une question de bonne pratique, dans de nombreux endroits, il s'agit également d'une obligation légale, les gouvernements s'efforçant de préserver la sécurité des données personnelles. 

Pourquoi le guide est-il important ? 

Le passage à l'évaluation en ligne basée sur la technologie a permis aux éducateurs d'obtenir une vision plus précise de ce que leurs élèves peuvent et ne peuvent pas faire en moins de temps que les méthodes de test traditionnelles. Cependant, les tests en ligne sont relativement nouveaux et comportent des nuances et des différences importantes. C'est pourquoi les lignes directrices de l'ATP constituent un point de départ important pour les concepteurs de tests. Elles fournissent une base de référence pour les meilleures pratiques, ce qui, en fin de compte, conduit à une évaluation plus efficace, à moins de pertes de temps et à des données plus précises. 

Open Assessment Technologies propose des solutions logicielles qui peuvent aider à développer des évaluations de haute qualité conçues pour l'apprentissage en ligne. Pour en savoir plus sur la façon dont les solutions d'OAT peuvent améliorer les évaluations pour vos étudiants, cliquez ici et contactez un représentant commercial.