Verzamel de gegevens
Verzamel met de ontwikkelde instrumenten de gegevens en zorg ervoor dat deze betrouwbaar en valide zijn.
Betrouwbaarheid
Betrouwbaarheid: de mate waarin een meting onafhankelijk is van toeval. Het is van belang om bij een evaluatie stil te staan bij de betrouwbaarheid van de gegevens. Een aantal zaken kan de betrouwbaarheid nadelig beinvloeden:
- De situatie: een rumoerige omgeving kan een respondent zodanig beïnvloeden dat deze zich anders gedraagt dan wanner hij/zij niet afgeleid zou zijn.
- De respondent: deze voelt zich de ene dag wellicht beter dan de andere dag, of heeft de ene dag een andere stemming dan de andere dag.
- De evaluator: niet alle interviewers roepen bijvoorbeeld dezelfde reacties op.
- Het gebruikte instrument: de ene vraag ligt gevoeliger dan de andere vraag. Een vraag naar het geslacht zal een minder toevallige reactie uitlokken dan een vraag naar de tevredenheid over een bepaalde methode.
Als er sprake is van betrouwbare gegevens, dan wil dit nog niet zeggen dat het geldige gegevens zijn. De gegevens moeten namelijk ook valide zijn.
Validiteit
Validiteit (geldigheid): de mate waarin gemeten wordt wat men beoogt te meten. Stel dat iemand het aantal jaren dat een docent een bepaalde methode volgt gebruikt als criterium voor de tevredenheid met deze methode, dan is het maar de vraag of dat een valide criterium is. Het kan immers goed zijn dat de docent in kwestie een methode weliswaar al jaren gebruikt, maar dit doet omdat er simpelweg geen geld is voor de aanschaf van een nieuwe methode (en niet omdat hij/zij tevreden is over de methode, integendeel misschien wel). De betrouwbaarheid van deze vraag zal geen groot probleem vormen. Als we dezelfde docent over een paar maanden nog eens zouden vragen hoelang hij/zij de methode gebruikt, levert dit hoogstwaarschijnlijk hetzelfde antwoord op.
Kortom, betrouwbaarheid garandeert niet dat een meting valide is. Wel geldt, dat als een meting niet betrouwbaar is, die ook niet valide kan zijn.
Triangulatie
Hoe kan je ervoor zorgen dat de gegevens betrouwbaar en valide zijn? Een belangrijke tip is het tegelijkertijd gebruiken van verschillende gegevensbronnen (respondenten, tijdstippen, locaties), methoden, evaluatoren en gegevenstypen (kwantitatief en kwalitatief) naast elkaar. Dit noemen we ook wel triangulatie. De gedachte achter triangulatie is dat de nadelen van de ene activiteit worden opgeheven door de voordelen van de andere activiteit (zie voor voor- en nadelen van diverse evaluatieactiviteiten stap 1.6).
Voorbeeld
Gebruik - als je wilt weten hoe bruikbaar een leerplan is - gegevens die verzameld zijn via een combinatie van:
- lesobservaties. Voordeel: kan op directe manier rijke informatie opleveren over de lesuitvoering. Nadeel: kost veel tijd en organisatie, afhankelijk van kwaliteit en betrokkenheid van observator (de observator heeft invloed op de lesuitvoering.
- interviewgegevens van docenten en leerlingen. Voordelen: geschikt voor veel, open en ingewikkelde vragen, mogelijkheid tot doorvragen, respondenten kunnen op elkaar reageren (in groepsinterview). Nadelen: niet anoniem, gevoelig voor sociaal wenselijke antwoorden.
Tips gegevensverzameling
Voor tips met betrekking tot het verzamelen van gegevens kan je klikken op de gekozen activiteit: