Undervisning i matematikk og naturfag krever mye mer enn bare å formidle kjernekunnskap og -ideer. Elevene må fordype seg i praksiser som lar dem utvikle tverrfaglige ferdigheter som beregning, modellering, problemløsning og resonnering hvis de skal lykkes i en verden som i økende grad bruker naturfag og teknologi. Tidligere har det vært vanskelig å måle ferdigheter for det 21. århundre, som problemløsning og samarbeid, fordi tradisjonelle matematikk- og naturfagvurderinger inneholder testelementer som blir vurdert basert på elevens endelige svar.
Selv om vurderingsrubrikker lar deg tildele poeng basert på i hvilken grad svaret eller svardelen er riktig (helt, delvis eller ikke i det hele tatt), gir ikke denne typen poengsum den rike datamengden som ville gjort det mulig for en lærer å bestemme hvordan elevene deres kommer frem til svarene sine på gitte problemer. I tillegg, etter hvert som vurderingen går over til et digitalt miljø, er typene matematikk- og naturfagelementer som ofte brukes i dag, hovedsakelig flervalg og konstruerte svar: elementtyper som er relativt enkle å utvikle og enkelt kan administreres i en storskala setting.
Løsningen: Bærbare, tilpassede interaksjoner
Ved å bruke digitale vurderinger som inkluderer interaktive elementer bygget med Portable Custom Interactions (PCIs) , er det mulig å åpne vinduet for mer kreative og engasjerende testopplevelser for å se en students tankeprosess gjennom en hel problemløsningsaktivitet. Det er ikke lenge siden at teknologiforbedrede elementer (TEIs) krevde en stor investering av tid, penger og programmeringsekspertise for i det hele tatt å bli vurdert som en del av et lærings- eller vurderingsmiljø. Imidlertid er det ikke lenger tilfelle. I dag er PCI-elementer rett og slett teknologiforbedrede elementer som er bygget i henhold til den «åpne PCI-standarden».
Vurderings- og læringsprogramvare som inkluderer PCI-standarden gir brukerne muligheten til å lage problemløsningsoppgaver, og fleksibiliteten til å inkludere et ubegrenset antall og type (QTI-standardbaserte) interaksjoner, som hotspot, dra og slipp, tekstinntasting og graf, i oppgaven. Disse samme standardene sikrer at oppgavens innhold og data er interoperable i en institusjons digitale miljø. I praksis gir oppgaveredigeringsmoduler som er kompatible med QTI- og PCI-standarden – som TAOs Item Creator-modul – oppgaveforfatteren(e) ubegrenset kreativitet til å konseptualisere problemløsningsoppgaver som utnytter et hvilket som helst antall interaksjonsmaler fra hele spekteret.
Disse omfattende og tilsynelatende komplekse elementene kan brukes til å måle hvordan elever samhandler i en gitt situasjon for å analysere og løse et problem. For eksempel har direktoratet for vurdering, prognoser og ytelse ved det franske utdanningsdepartementet (Direction de l'évaluation, de la prospective et de la performance [DEPP]) gitt ut en rekke interaktive modellelementer ved hjelp av PCI-standarden.
Et av disse elementene vurderer kunnskap og ferdigheter knyttet til bevegelsens relativitetsteori, og lar studenten samhandle med karakterene på skjermen for å se bevegelsen i scenariet fra hver karakters perspektiv.
Øvelsene og spørsmålene som er inkludert i de interaktive elementene engasjerer elevene på flere nivåer, og fanger ikke bare opp svarene deres, men også tankeprosessene deres. Faktisk gir de rike loggdataene (læringshendelsene) som fanges opp av disse elementene, for eksempel tidspunktet elevene starter og stopper arbeidet sitt, musebevegelser, bruk av forskjellige verktøy på skjermen, inaktiv tid og et skjermbilde av de siste handlingene, lærere muligheten til å få dyp innsikt i hvordan elevene nærmer seg problemet, og identifisere områder som kan kreve ekstra fokus. Med andre ord gjør PCI-er det mulig å samle inn mye mer enn bare de digitale svarene og gi data for å legge til rette for tilbakemeldingssløyfen mellom undervisning, læring og vurdering.
Læringseffektresultater
Med dette i tankene samarbeidet DEPP, det luxembourgske utdanningsdepartementet og deres kontraktører Vretta og Wiquid om å lage en rekke flertrinns PCI-elementer ved hjelp av TAO. Vretta utviklet PCI-elementene for matematikk, og Wiquid utviklet PCI-elementene for naturfag. Målet var å introdusere disse elementene i CEDRE (cycle des évaluations disciplinaires réalisées sur échantillons/Cycle of Sample-based Subject Specific Assessments), som er årlige tester med lav innsats i Frankrike gitt i en rekke fag, inkludert historie, geografi, naturfag, matematikk, fremmedspråk og fransk.
CEDRE-eksamenene ble først introdusert i 2003 som papir- og blyantvurderinger, migrert til digitalt format i 2016, og administreres nå på stasjonære datamaskiner. Naturfag- og matematikkeksamenene inneholder hver mellom 50 og 60 punkter fra en bank med 300 punkter. I mai 2016 introduserte DEPP for første gang tre matematikk- og to naturfag-PCI-er til en landsdekkende standardisert test, som ble administrert til 8000 elever i 9. klasse. DEPP samarbeidet med Capgemini for å analysere de resulterende loggdataene fra de tre matematikk-PCI-ene. Denne øvelsen ga svært rike og interessante observasjoner med hensyn til strategiene elevene brukte for å løse de interaktive spørsmålene.
For eksempel ba ett spørsmål elevene om å estimere omkretsen av en innsjø. De innsamlede logaritmiske dataene viste at elevene ofte forvekslet «omkrets» med «areal», dømt ut fra trinnene de tok for å løse problemet. Nedenfor er eksempler på logaritmiske data samlet fra fire elevsvar.
Dataene som er samlet inn for hvert svar viser linjene hver elev tegnet i sitt forsøk på å løse problemet, prosentandelen som var innenfor grensen (eller omkretsen) av innsjøen, og elevens estimat av målingen.
Våren 2017, da DEPP tok praksisen et skritt videre og økte skalaen både når det gjaldt antall administrerte PCI-er og antall studentdeltakere. Denne gangen ble 12 PCI-er i naturfag administrert til 10 000 studenter, mens 25 PCI-er i matematikk ble administrert til 11 000 studenter.
Avkastning på investeringen
PCI-er og deres loggdata kan gi utmerket tilbakemelding til utdanningsmiljøet – inkludert lærere, forskere og beslutningstakere – om studentenes engasjementsnivå, forståelse av fagområdene og hvordan de nærmer seg problemløsning. Fordi TAO er bygget på åpen kildekode, kan DEPP utnytte ytterligere ressurser bidratt av brukermiljøet.
