Når man evaluerer vurderingsprogramvare, starter og slutter samtalen vanligvis med funksjoner: Hvilke spørsmålstyper støttes? Kan den håndtere adaptiv testing? Hvordan ser rapporteringsdashbordet ut? Disse spørsmålene er et godt utgangspunkt, men de går ikke langt nok.
Det som ofte blir oversett, er hvordan plattformen håndterer innholdet den er betrodd. Kan for eksempel vurderingselementer eksporteres i et standardformat? Vil de overleve en migrering til et annet system om fem år? Hva med integrasjoner med det bredere EdTech-økosystemet?
En godt utformet forespørsel om tilbud (RFP) gjør mer enn å sammenligne funksjoner. Den fungerer som et strategisk kontrollpunkt i vurderingen, og gir deg muligheten til å definere funksjoner, standarder, strukturer og datapraksis som beskytter langsiktig fleksibilitet. I denne artikkelen viser vi deg hvordan du strukturerer forespørselen om tilbud for vurdering for å unngå leverandørbinding på lang sikt.
Viktige konklusjoner
- Mange anbudsinnbydelser (RFP-er) kommer ikke til kort fordi de aldri definerer interoperabilitet tydelig i anskaffelseskrav.
- Anskaffelsesbeslutninger former direkte langsiktig systemfleksibilitet, spesielt rundt innholdsportabilitet og integrasjon.
- Vurderingsinnhold bør behandles som en langsiktig institusjonell ressurs, med anskaffelseskrav som dekker dataeierskap, eksportformat og bevaring av metadata.
- 1EdTech-sertifiserings- og registreringsnumre gir en verifiserbar måte å holde leverandører ansvarlige for interoperabilitetskrav.
Hvorfor mange anbudssøknader om vurdering ikke lykkes
Anbudsinnbydelser for vurderinger kan aldri være perfekt skrevne og polerte dokumenter, men de kan fortsatt være godt gjennomtenkte og strategisk solide. Det betyr at de må gå utover dagens funksjonalitet, som spørsmålstyper, poengsetting og analyser, for å takle strukturelle spørsmål som vil avgjøre fleksibiliteten til vurderingsprogramvare om fem eller ti år.
Av alle områdene som oftest overses, må interoperabilitet være det viktigste. De fleste anbudsinnbydelser utelater det enten helt eller refererer til det i vage vendinger, som «må støtte bransjestandarder».
Problemet med dette er at det gir leverandører den friheten de trenger til å tolke samsvar på en måte som passer dem, ikke nødvendigvis skolesystemet. En leverandør kan hevde at systemet deres er interoperabelt, for eksempel fordi plattformen deres kan importere en CSV-fil, selv om den ikke kan eksportere en fullstendig strukturert vurderingspakke som du enkelt kan bruke på en annen plattform.
Som et resultat oppdager mange institusjoner at de er bundet til en kontrakt først når de prøver å migrere. De kan for eksempel oppdage at vurderingselementer, metadata, poengregler og tilgjengelighetskonfigurasjoner er låst i det gamle systemet deres. Det kan ta måneder og koster ofte mer enn forventet å kopiere disse strukturene andre steder.
Hvordan anskaffelsesbeslutninger former langsiktig fleksibilitet
Det rette stedet å ta opp disse problemstillingene er under anbudsprosessen. Innkjøpsteam som behandler interoperabilitet som et strategisk krav, snarere enn en teknisk detalj, legger opp til langsiktig suksess for institusjonene sine.
Plattformen du velger blir beholderen for et voksende antall vurderingsinnhold, integrasjonspunktet for annen programvare, som læringsplattformer (LMS-er), studentinformasjonssystemer (SIS-er) og analyser, og mekanismen du bruker for å oppfylle tilgjengelighetskrav.
Når du velger en plattform uten klare krav til interoperabilitet, gir institusjonen gradvis avkall på kontroll . Når du er avhengig av en leverandørs proprietære implementering i stedet for åpne, standardiserte formater som er bærbare mellom systemer uten datatap, vokser kostnadene ved å bytte plattform for hvert år som går.
For å ta hensyn til fleksibilitet trenger du ikke å forutsi fremtiden. I stedet må du insistere på åpne standarder, klart definerte eksportmuligheter og kontraktsmessige forpliktelser til portabilitet. Alt dette kan oppgis på forhånd i anbudsinnbydelsen, når din institusjonelle innflytelse er på sitt høyeste.
Slik bygger du en interoperabel vurderingsforespørsel
Å si at «plattformen må være interoperabel» er litt som å si at «bygningen må være trygg». Uten spesifikasjoner har du ingenting å håndheve. For å gjøre interoperabilitet til et reelt krav, må du være spesifikk og konkret om de refererte standardene, versjonene deres og hvordan samsvar vil bli bekreftet.
QTI-standarden
QTI -standarden ( Question and Test Interoperability ), som vedlikeholdes av EdTech-konsortiet 1EdTech , er den mest brukte standarden for pakking og utveksling av vurderingsinnhold på tvers av plattformer. Den definerer hvordan elementer, tester, poengregler og metadata er strukturert i et portabelt XML-format, slik at innhold som er skrevet i ett system kan leveres i et annet.
QTI-standarden har utviklet seg gjennom flere hovedversjoner, inkludert QTI 2.1, 2.2 og 3.0. Hver av disse versjonene støtter forskjellige funksjoner. Den nyeste versjonen, QTI 3.0 , legger til innebygd HTML5-støtte, datatilpasningstesting og bærbare, tilpassede interaksjoner. Den forbedrer også gjengivelseskonsistensen på tvers av plattformer.
Versjonsnumre er viktige – for eksempel kan det hende at en leverandør som er sertifisert for QTI 2.1 ikke kan håndtere QTI 3.0-innhold, og omvendt. Siden 1EdTech avviklet QTI 2.1-sertifiseringen sent i 2024, bør anbudssøknader som skrives i dag, referere til QTI 3.0 med mindre det finnes en spesifikk grunn til ikke å gjøre det, for eksempel hvis enhetene dine ikke støtter det.
APIP og tilgjengelighet
APIP (Accessible Portable Item Protocol) var opprinnelig en separat 1EdTech-standard som sørget for at vurderingsinnhold kunne inneholde tilgjengelighetsinformasjon som tekst-til-tale-hint, tegnspråkreferanser, støtte for blindeskrift eller alternativ tekst i et bærbart format.
Med QTI 3.0 er disse funksjonene lagt til QTI-standarden. For anskaffelser betyr dette at forespørselen om tilbud kan referere til standarden i stedet for å stole på leverandørspesifikke regler. Hvis institusjonen din har spesifikke krav til tilrettelegging, er det verdt å merke seg at 1EdTechs QTI 3.0-sertifisering inkluderer en «Elevated Accessibility»-profil som dekker muntlig støtte, lange beskrivelser og taktile referanser.
Sertifisering > samsvar
Enhver leverandør kan hevde QTI-samsvar, men sertifisering betyr at produktet faktisk har blitt testet mot definerte samsvarsstandarder og mottatt et registreringsnummer du kan verifisere mot 1EdTech TrustEd Apps Directory .
1EdTechs egen veiledning for anbudsinnbydelse anbefaler å spesifisere nødvendig sertifiseringsversjon og -profil, samt å be leverandører om å oppgi registreringsnummeret sitt i tilbudene sine. Når leverandører ennå ikke har oppnådd sertifisering, kan anbudsinnbydelsen kreve det innen en bestemt dato, med kontraktsmessige konsekvenser dersom en frist overskrides.
Metadata og strukturert innhold
Husk at interoperabilitet ikke bare handler om hvorvidt innhold kan flyttes mellom systemer. Det handler også om hvorvidt det fortsatt er meningsfullt når det ankommer.
Hvis for eksempel spørsmål eksporteres som ren tekst, mister de poenglogikk, pensumjustering, vanskelighetsklassifisering og tilgjengelighetsmarkering. QTI-standarden dekker metadata for læringsobjekter (LOM) og tillater at metadata for pensumstandarder brukes på tvers av pakke-, ressurs- og elementnivåer.
Når du skriver en forespørsel om tilbud (RFP), bør du definere hvilke metadata som kreves i eksporterte vurderingspakker, for eksempel standardjustering av pensum (ved hjelp av CASE-standarden [ Competencies and Academic Standards Exchange ]), vanskelighets- og diskrimineringsindekser for elementer, innholdsdomenekoder, språkinformasjon og tilgjengelighetsbeskrivelser. På den måten blir ikke informasjonen som gjør en elementbank søkbar, analyserbar og gjenbrukbar, fjernet under eksport og migrering.
Ser fremover
QTI-standarden har utviklet seg gjennom flere versjoner, og tilgjengelighetskravene skjerpes i tråd med oppdateringer av retningslinjene for tilgjengelighet på nett (WCAG). I tillegg fortsetter analysestandarder som Caliper å utvikle seg. For å fremtidssikre anbudsforespørselen din må du ta hensyn til endringer i disse standardene.
1EdTech tilbyr en « intensjonserklæring om å ta i bruk 1EdTech-standarder innen rimelig tid » som skal inkluderes i anskaffelsesdokumenter, og ber leverandører om å forplikte seg til å støtte oppdaterte spesifikasjoner innen rimelig tid. En anbudsforespørsel kan også inneholde periodiske interoperabilitetsgjennomganger som kontrollpunkter for å revurdere leverandører mot gjeldende standarder. Dette skaper et kontinuerlig insentiv til å opprettholde støtten i stedet for å behandle sertifisering som en engangsboks å krysse av i.
Vurderingsinnhold er en langsiktig institusjonell ressurs
Et godt utformet vurderingselement – et som er testet i klasserommet, validert, tilpasset læreplanstandarder, merket med metadata og utformet for tilgjengelighet – er en betydelig investering. Over tid blir en elementbank en verdifull og distinkt pedagogisk ressurs. Likevel gjenspeiler anskaffelsesprosesser sjelden dette, og fokuserer på plattformen snarere enn innholdet.
En forespørsel om tilbud (RFP) som behandler vurderingsinnhold som en institusjonell ressurs bør ta for seg eierskap (innhold laget av eller for institusjonen tilhører institusjonen), eksportmuligheter og metadataintegritet. Uten å tydelig angi at plattformer må eksportere alt innhold i en QTI-kompatibel pakke som bevarer dens fulle integritet, vil du ikke ha noe kontraktsmessig grunnlag for å insistere på dette senere.
Samtidig krever ikke det å legge til interoperabilitet i kriteriene en fullstendig overhaling av anbudsforespørselen din. I stedet handler det bare om å legge til noen få målrettede tillegg. Har leverandøren en gjeldende 1EdTech QTI-sertifisering, og i så fall på hvilket nivå? Kan de demonstrere en reell innholdseksport i QTI-format, eller kan de henvise deg til innholdsmigreringer de har gjort for andre institusjoner?
Disse spørsmålene tester om en leverandørs forretningsmodell er kompatibel med institusjonens behov for fleksibilitet. Leverandører som har investert i standardsertifisering vil ønske dem velkommen, og de som ikke har det, vil avlede oppmerksomheten eller gi vage forsikringer. Evalueringsprosessen din bør utformes for å skille mellom de to.
Gjøre innkjøp til et strategisk hengslet punkt
Det er i anskaffelser at den langsiktige vurderingsstrategien defineres. Alle krav i en anbudsforespørsel, fra standardene du spesifiserer til hvordan du definerer innholdseierskap, vil forme institusjonens evne til å tilpasse seg, migrere og opprettholde kontroll over vurderingsøkosystemet i årene som kommer.
For å innlemme dette langsiktige perspektivet må du legge til spørsmål om QTI-versjoner og -sertifisering, dataeierskap og eksportformater, og tilgjengelighetsportabilitet. Disse spørsmålene er gratis å stille og kan spare deg for betydelig tid og krefter senere.
Hvis institusjonen din nærmer seg en anskaffelsessyklus for vurderinger, bør du gjennomgå den nåværende anbudsmalen og spørre om den definerer interoperabilitet på en håndhevbar måte. Hvis den ikke beskytter innholdet ditt som en institusjonell ressurs, er det på tide å gjøre noen revisjoner.