En vurdering kan inneholde en blanding av elementer som skal automatisk scores og elementer som krever menneskelig inngripen (og til og med individuelle interaksjoner innenfor ett testelement kan blandes). Noen spørsmål kan være enkle flervalgsspørsmål som kan automatisk scores i TAO, mens andre er åpne spørsmål som krever en menneskelig scorer for å vurdere dem. Etter hvert som vurderingsbransjen blir stadig mer digitalisert, trenger institusjoner en strømlinjeformet og sikker måte å måle og lagre vurderinger av alle typer på, inkludert de som inneholder åpne svarseksjoner.
TAO Grader , TAOs programvare for åpen vurdering av svar, gjør det mulig for lærere og andre fageksperter å manuelt vurdere testene som er satt opp i TAO-plattformen, noe som gir en mer effektiv løsning for vurdering av åpent svar og essayspørsmål. Med TAO Grader filtreres skriftlige svar inn i TAOs rapporteringsverktøy i et elektronisk format, i stedet for som en digital skanning. Dette gjør det mye enklere å tildele poengsummer, flytte og dele testsvarfiler, utpeke interne poenggivere som fullfører den første vurderingen, og utpeke sensorer for å støtte eller avkrefte disse karakterene.
Selv om automatisert poengsetting eliminerer vurderingsarbeidet for mange typer vurderingsspørsmål, som flervalgsspørsmål eller «gap matching», kan det fortsatt være testdeler som krever skriftlige svar, som deretter må vurderes av en lærer eller fagekspert. Mange komplikasjoner kan oppstå når man vurderer essays og andre typer åpne svarspørsmål for hånd uten en manuell poengsum. Disse kan omfatte alt fra vanskeligheter med å tyde håndskrift til utfordringer med å lagre resultater og problemer når man skanner disse skriftlige vurderingsdelene inn i en vurderingsrapporteringsløsning.
TAO Grader løser disse utfordringene ved å gi lærere en strømlinjeformet og intuitiv tilnærming til tilgang til og vurdering av åpne svarspørsmål på nett. Dette eliminerer effektivt behovet for å skrive ut, vurdere og lagre store mengder papirbaserte vurderinger manuelt.
En avgjørende fordel med et manuelt poengsystem er muligheten til å tildele og vurdere svar i team. TAO muliggjør asynkron teamvurdering, noe som reduserer driftskostnadene som kreves ved utskrift, organisering og vurdering av eksamener for hånd. Teambasert vurdering letter ikke bare arbeidsmengden for poenggivere og forkorter tilbakemeldingstiden for resultatene, men det gjør det også mulig for fageksperter å delta i vurderingen, og eliminerer effektivt skjevheter mellom poenggivere og testtakere.
For eksempel kan grupper av poenggivere i TAO tilfeldigvis tildeles spørsmål for vurdering enten på en emnekategori eller basert på brukerdefinerte testdeltakergrupper. I begge tilfeller er testdeltakernes navn skjult fra poenggivervisningen for å muliggjøre objektiv og upartisk vurdering.
Eksamener med høy innsats og stor skala, som ACT eller SAT i USA og Matura- eller Baccalaureate-eksamener i Europa, er organisert i seksjoner etter spesifikke emner eller læringsutbytte. Å vurdere åpne vurderingsspørsmål i forskjellige fag, eller kompetanser innenfor et fag, krever ofte at poenggivere har nisjekompetanse innen disse emnene.
I dette tilfellet kan manuelle poengsystemer som TAO Grader, som lar deg kategorisere vurderingselementer og tildele poenggivere etter emne , i stedet for hele testen, føre til mer effektiv, raskere og strømlinjeformet poengsetting. Denne funksjonaliteten kan også bidra til å forenkle arbeidsflyter for poengsetting, og sikre at de riktige fagekspertene poengsetter de riktige testspørsmålene.
TAO Graders prosjektorganisering og kø for vurdering av åpne svar er skreddersydd for både småskala vurderingsprogrammer med lav innsats og nasjonale vurderingsprogrammer med høy innsats. Som en ferdig løsning er TAOs åpne svarsensor fullt integrert i TAO-plattformen og tilbyr strømlinjeformede, komplette arbeidsflyter for organisering, lagring og deling av resultater og studentdata. Dette er en flerspråklig løsning, og kan enkelt utvides for å støtte ny språkfunksjonalitet.
Rubrikker er effektive verktøy for konsekvent poengsetting av åpne svar, og spiller en nøkkelrolle i nettbasert vurdering. Rubrikker er poengsettingsverktøy som er utformet for å beskrive eller klassifisere prestasjonsnivåer for testdeltakere basert på en rekke kriterier. Ved å legge frem spesifikke kriterier i en rubrikk, kan lærere kommunisere læringsmålene og mestringsnivået de vil evaluere testdeltakerne sine ut fra. Ytterligere fordeler med rubrikkbasert poengsetting av åpne svar i nettbasert vurdering inkluderer:
- Utarbeide en upartisk, ensartet poengsystem
- Legge til rette for raskere vurdering for lærere og tilbakemelding for testdeltakere
- Forbedre kommunikasjonen med testdeltakere ved å tydelig definere forventningene til karaktersetting
- Inspirerende kritisk tenkning
TAOs programvare for manuell vurdering gir en innebygd løsning for å legge ved digitale PDF-rubrikker for å forenkle vurderingen av skriftlige testsvar. Studentene kan forstå forventningene til testen og hvordan de vil bli evaluert, mens lærerne mottar de innkommende svarene umiddelbart etter innlevering, og har et konsistent sett med retningslinjer å vurdere mot for å støtte raskere tilbakemeldinger.
Med TAO Grader kalles brukerne som utfører vurderings- og omvurderingsoppgaver henholdsvis poenggivere og vurderingsledere . Etter at du har tilordnet emnekategorier til vurderingsspørsmål, kan du tilordne grupper av utpekte poenggivere og vurderingsledere til testelementer eller seksjoner. Arbeidsflyter lar deretter disse brukerne visualisere og gå gjennom vurderingsoppgavene sine på en strømlinjeformet og effektiv måte.
Navnene på de enkelte testdeltakerne blir skjult under poengsettingen for å eliminere skjevheter blant poenggiverne. I tillegg sikrer det en objektiv tilnærming når dobbeltblind poengsetting er nødvendig, ved å utpeke en anmelder for å bekrefte eller utfordre den opprinnelige poenggiverens vurdering.
TAOs programvare for åpen responsvurdering inkluderer en funksjon som lar andre brukere av vurderingsprosjekter «vurdere vurdereren», dvs. vurdere forskjellige vurderere basert på deres vurderingsevner. For eksempel kan du ha en vurderer som konsekvent gir lavere eller høyere karakter enn en vurderer for bestemte spørsmål eller emnekategorier. I dette tilfellet er det verdifullt å evaluere den brukeren og endre eller fjerne poenggivende prosjekter . Spesielt for vurderinger med høy innsats er det avgjørende at poenggivere er kontrollert og oppdaterte, slik at de ikke forstyrrer studentenes fremgang ved å gi lavere eller høyere poengsummer enn det som er berettiget.
En moderne og brukervennlig løsning for brukere uten teknologikunnskap kan hjelpe poenggivere med å fullføre vurderingsoppgaver eksternt. Dagens moderne lærere ønsker fleksibilitet i driften av EdTech-løsningene sine, og utnytter flere enheter og nettlesere. Muligheten til å vurdere vurderinger på et nettbrett eller en bærbar PC gjør det mulig å vurdere svar eksternt og fortsatt gi rask tilbakemelding til elevene.
Tilgjengelighet er alltid et stort fokus ved nettbasert vurdering, men blir altfor ofte oversett. I henhold til WCAG 2.1 AAs tilgjengelighetskrav og retningslinjene i paragraf 508 er TAOs nettbaserte vurderingsløsninger utformet for tilgjengelighet fra grunnen av for å sikre tilgang til alle aspekter av testsyklusen. Det nettbaserte brukergrensesnittet for TAO Online Manual Scoring Professional er iboende tilgjengelig og kan brukes med en skjermleser for brukere med synshemming.
Lær mer om TAOs tilgjengelighet her .
Noen ganger må ulike aspekter ved et svar gis separate poengsummer, noe som betyr at det kreves flere poengsummer for ett element. Dette beskrives som flertrekkspoengsum . I TAO betyr flertrekkspoengsum at et element har mer enn ett utfall som må scores manuelt. For eksempel kan et essayspørsmål ta hensyn til egenskaper som «grammatisk nøyaktighet» og «ordvalg», som gjelder for de samme spørsmålene, men krever forskjellige poengsummer.
Et robust nettbasert poengsystem må støtte åpne svarspørsmål på flere språk for å legge til rette for ulike typer vurderinger, som de som tester flyt i skriving. TAOs nettbaserte manuelle poengsystem er flerspråklig fra grunnen av, designet for å støtte åpne svarvurderinger for ulike språk.