Skoler og utdanningsdistrikter over hele verden har blitt stadig mer digitaliserte, med mange nettbaserte skolealternativer og digitale læringsplattformer tilgjengelig for elever og lærere. Med disse nye og innovative læringsalternativene følger et behov for å sikre at teknologibaserte vurderingspraksiser er rettferdige og effektive for å måle elevenes vekst og prestasjoner. Beste praksis for blyant- og papirvurderinger i klasserommet og nettbaserte vurderinger er imidlertid ikke det samme.
Derfor har Association of Test Publishers (ATP) utviklet en grundig veiledning om hvordan man implementerer og bruker nettbaserte vurderinger, inkludert i utforming, levering og poengsetting av digitale vurderinger. ATP ga også retningslinjer for testsikkerhet, validitet, pålitelighet og rettferdighet i veiledningen. Kort sagt, retningslinjene for teknologibasert vurdering tilbyr det perfekte utgangspunktet for testadministratorer eller skoledistriktsfunksjonærer når de utvikler nettbaserte vurderinger.
Hva er inkludert?
Veiledningen er omfattende og inneholder kapitler om en rekke emner og problemstillinger knyttet til digitale vurderinger. Kapitlene i veiledningen inkluderer:
- Testutvikling og -redigering (inkludert spillifisering og teknologiforbedrede elementer)
- Testdesign og montering – lineær eller adaptiv
- Testleveringsmiljøer (inkludert nett, mobil, offline, låste nettlesere, avbrudd og interoperabilitet)
- Poengsum – automatisert og teknologiassistert
- Digitalt basert resultatrapportering
- Datahåndtering (lagring, vedlikehold, integritet, integrasjon)
- Psykometrisk og teknisk kvalitet
- Testsikkerhet
- Databeskyttelse i teknologibasert vurdering
- Rettferdighet og tilgjengelighet
- Globale testhensyn, inkludert oversettelse
Hvert kapittel ble skrevet av en ekspert på det aktuelle området og gjennomgått av andre eksperter for å sikre at informasjonen i veiledningen er nøyaktig og gjenspeiler beste praksis i hele bransjen. Veiledningen er utformet for bruk med vurderinger med høy innsats eller summative vurderinger, selv om prinsippene, spesielt rundt testdesign, også kan brukes på formative vurderinger .
Viktige konklusjoner
Selv om det er mye informasjon å sortere gjennom i veiledningen, er det fem viktige temaområder som skiller seg ut. Disse inkluderer viktige poenger om teknologiforbedrede elementer og spillbasert vurdering, interoperabilitet, rettferdighet og tilgjengelighet, poengsetting og sikkerhet. Ved å vurdere hver av dem kan en lærer eller testutvikler sikre at den teknologibaserte vurderingen måler det de håper å måle, på en rettferdig måte, samtidig som et høyt nivå av personvern og sikkerhet opprettholdes.
Teknologiforbedrede elementer og spillbasert vurdering
En av de beste måtene å bruke teknologi på for å forbedre læring er gjennom bærbare, tilpassede interaksjoner, eller PCI-er . PCI-er gir elevene enorm frihet til å demonstrere læring, i kontekst og med flere utfall, ved å gjøre det mulig for elevene å samhandle med spilllignende simuleringer i en prøve.
Når man lager et testelement, er nøkkelen å starte med det endelige målet – hva spørsmålet skal måle og la elevene demonstrere – i tankene. Dette betyr at når man bruker teknologiforbedrede elementer (TEI-er) eller spillbaserte vurderinger, er det viktig å starte med å vurdere læringsstandarden som måles, og at den er utformet slik at elevene kan demonstrere en forståelse av disse ferdighetene. Noen andre viktige retningslinjer å vurdere inkluderer :
- Sørg for at TEI-er fungerer på studentenes enheter – studentene kan ta vurderingen på et nettbrett, en bærbar PC, Chromebook eller en annen enhet. Sørg for at studenten kan se elementet uten å bla for mye.
- Tilby veiledninger – studentene må forstå hvordan de bruker teknologien før de starter, slik at de ikke blir sittende fast i forsøket på å ta vurderingen, og resultatene viser hva studenten kan, ikke hvor godt de mestret teknologien.
- Reduser irrelevant varians eller CIV i konstruksjoner – så mye som mulig må testutviklere sørge for at innholdet og studentens ferdigheter forblir i sentrum. TEI-er bør være lett tilgjengelige og utvikles med testtakeren i tankene.
Interoperabilitet
Det finnes et bredt utvalg av teknologibaserte vurderingsverktøy og -plattformer som skoler implementerer når de underviser og vurderer elever. Når man utvikler vurderingsprogramvare, må programvaren kunne få tilgang til og kommunisere med programvare fra andre plattformer for å sikre smidig og sikker informasjonsoverføring fra ett sted til et annet.
For lærere betyr dette at en vurdering kan gis på én plattform, og elevenes poengsummer eller data kan analyseres av andre plattformer eller karakterbøker som er utformet for et slikt formål. Denne interoperabiliteten sikrer at lærere kan utnytte data effektivt, utvikle mer engasjerende vurderinger og ha en positiv innvirkning på elevenes utvikling.
Rettferdighet og tilgjengelighet
På mange måter jevner teknologibasert vurdering ut spillereglene for elevene og skaper muligheten for å vurdere mer rettferdig og likeverdig. Det er imidlertid noen viktige hensyn angående rettferdighet og tilgjengelighet, inkludert:
- ELL-hensyn – vurderinger bør ta hensyn til språkbaserte behov og gjøre passende tilpasninger og modifikasjoner innenfor plattformen. For digital testing kan dette bety å tilby veiledninger med stor avhengighet av bildebaserte instruksjoner eller å inkludere forskjellige oversettelser for hvordan vurderingen skal tas.
- Studenter med psykiske helseproblemer – digitale testplattformer må sørge for at tilrettelegginger enkelt kan implementeres av instruktører og også er enkle for studentene å bruke gjennom hele testen.
- Studenter uten erfaring med digitale plattformer – ikke alle studenter har ekspertise innen teknologi og bruk av teknologi til vurdering. Lærere og testutviklere må sørge for at testene er utformet enkelt og intuitivt, slik at studentene kan engasjere seg i stoffet så autentisk som mulig.
Poengsum
Teknologibasert vurderingspoenggivning kan deles inn i to deler, automatisert og menneskelig poenggivning. For automatiserte eller AI-poenggitte vurderinger er det avgjørende at testutviklere bruker en streng og grundig kvalitetskontrollprosess for både poenggivning av vurderinger og kommunikasjon av poengsummer med elever og familier. Dette betyr at programvaren bør identifisere riktige og feil elementer for å gi nøyaktige data.
Imidlertid kan ikke alle elementer scores automatisk. For elementer scoret av mennesker er det et par ting å huske på:
- Disse elementene bør alltid ha en tydelig definert rubrikk slik at elevene vet hva de skal gjøre.
- De som skal teste må ha tilstrekkelig opplæring for å unngå skjevhet og sikre nøyaktighet i testen.
- Teknologiplattformer for lagring og visning av elevsvar bør være brukervennlige og intuitive.
Personvern og sikkerhet
Det er en stor bekymring for testutviklere å jobbe med sensitive testdata. Med mange tester som tilbys på nett og via skybaserte interaksjoner, er potensialet for datainnbrudd høyt. For å opprettholde testens integritet må testutviklere handle for å forhindre et brudd før det skjer, bruke avskrekkingsstrategier før og under testing, og utvikle en responsplan for juks eller datainnbrudd.
Det er like viktig å vurdere den personlig identifiserbare informasjonen som testen kan ha samlet inn. Å ha et robust sikkerhetssystem på plass for å opprettholde et høyt nivå av personvern vil sikre at studentenes data forblir sikre . Å gjøre dette er ikke bare et spørsmål om beste praksis, mange steder er det også et juridisk krav ettersom myndighetene streber etter å holde personopplysninger trygge.
Hvorfor er guiden viktig?
Overgangen til nettbasert teknologibasert vurdering har gitt lærere muligheten til å få et mer nøyaktig bilde av hva elevene deres kan og ikke kan gjøre på kortere tid sammenlignet med tradisjonelle testmetoder. Nettbasert testing er imidlertid relativt nytt, og det følger noen viktige nyanser og forskjeller med det. Derfor er disse ATP-retningslinjene et viktig utgangspunkt for testutviklere. De gir et grunnlag for beste praksis, noe som til slutt fører til mer effektiv vurdering, mindre bortkastet tid og mer nøyaktige data.
Open Assessment Technologies har programvareløsninger som kan bidra til å utvikle vurderinger av høy kvalitet designet for nettbasert læring. For å lære mer om hvordan OAT-løsninger kan forbedre vurderingene for studentene dine, klikk her og kontakt en selger.