Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.
Het testing effect houdt in dat lesmaterialen die na een initiële leerfase actief herinnerd en opgehaald werden, zeker op lange termijn beter onthouden worden dan wanneer deze lesmaterialen tijdens een volgende studiefase opnieuw gelezen, bestudeerd, ... worden. Dit effect is nog sterker indien er bij het (tussentijds) testen gebruik gemaakt wordt van feedback.
Interessant aan het artikel "Testing Encourages Transfer Between Factual and Application
Questions in an Online Learning Environment" ($) is dat er nagegaan werd of indien er bij de tussentijdse testen gebruik gemaakt werd van vragen die peilen naar 'feitenkennis' er ook leerwinst optrad indien de eindtoetsen peilden naar 'toepassing' van die kennis (en vice versa). Het gaat 'm dus om de transfer van kennis.
Dubbel interessant (vind ik toch) is dat het experiment plaatsvond in een online leeromgeving.
Tenzij expliciet anders vermeld, komt volgende informatie uit het artikel van Thomas, Weywadt, Anderson, Martinez-Papponi, & McDaniel, (2018).
Thomas et al. beschrijven dat bestaand onderzoek naar transfer in realistische klaspraktijken wisselende resultaten opleverde. Indien de vragen op tussentijdse testen peilden naar toepassing van kennis, was er wel sprake van transfer indien de vragen op de eindtest gericht waren op feiten, maar niet omgekeerd. Ander onderzoek vond dan weer dat er geen transfer plaatsvond, behalve wanneer de tussentijdse testen gepaard gingen met het achteraf in klas bespreken van de resultaten.
(Zeker in een online leeromgeving) vindt deze in klas bespreking zelden plaats. De opzet van de onderzoekers was dan ook om na te gaan of er transfer optrad (van feiten naar toepassing en omgekeerd) indien er uitsluitend sprake was van online correctieve feedback (het juiste antwoord), zonder bespreking.
Dezelfde participanten (within-subjects design) kregen op de eindtest 36 vragen voorgeschoteld: 12 hiervan gericht op feitenkennis, 12 op toepassen van kennis en 12 gerelateerd aan de leerstof maar niet expliciet bevraagd bij tussentijdse toetsen. Tussentijdse toetsen bestonden uit kort-antwoord vragen, eindtoetsen uit meerkeuzevragen.
De tussentijdse toets werd na het volledig afwerken voorzien van feedback in de vorm van het juiste antwoord (dat overeen kwam met de juiste optie tijdens de latere eindtoets).
Bevindingen:
- indien vragen tijdens de tussentijdse toets peilen naar feiten, dan worden feitenvragen op de eindtoets significant beter beantwoord dan toepassingvragen over dezelfde materie. Omgekeerd geldt hetzelfde;
- algemeen was de score op de eindtoets hoger voor leerstof die tussentijds getoetst werd dan voor leerstof die niet tussentijdse getoetst werd, ongeacht vraagtype;
- wat transfer betreft: indien leerstof tussentijdse feitelijk getoetst werd, vergeleken met leerstof die niet getoetst werd, werden ook toepassingsvragen significant beter beantwoord dan vragen die niet tussentijds getoetst werden.
De onderzoekers controleerden in experiment 2 voor de mogelijkheid dat studenten het juiste antwoord tijdens de eindtoets zouden herkennen: tijdens experiment 1 werd in de juist-antwoord feedback immers het exacte antwoord gegeven zoals het later voorkwam in de antwoordopties van de eindtoets. In experiment 2 werden andere bewoordingen en formuleringen in deze feedback gebruikt dan de antwoordopties in experiment 1. Tevens werd feedback voorzien meteen na een vraag en niet aan het einde van de tussentijdse toets.
De resultaten bleven ook in experiment 2 gelijkaardig, zodat kan gesteld worden dat er geen sprake was van een zuiver 'herkenningseffect' maar wel degelijk van transfer.
Tevens stellen ze dat motivatie van studenten een rol kan gespeeld hebben: zij die niet alle tussentijdse testen afnamen scoorden niet beter op de eindtoets.
Het resultaat kan eveneens te wijten zijn aan het feit dat er tussentijdse open vragen gesteld werden, en bijvoorbeeld geen meerkeuzevragen. Ook eerder onderzoek heeft het grotere voordeel van free recall vragen vergeleken met gesloten vragen tijdens tussentijdse testen in het kader van het testing effect aangetoond. Wellicht doordat free recall een grotere inspanning vergt bij het herinneren (desirable difficulty, eigen toevoeging).
De onderzoekers merken nog op dat het een realistisch onderzoek in een online cursus betrof: ze hadden dus geen controle over hoe studenten studeerden naast de tussentijdse toetsen (mogelijks maakten ze ook gebruik van zelftesten naast de door de onderzoekers aangeboden tussentijdse toetsen). Daarnaast werd er geen gebruik gemaakt van een controlegroep die de leerstof frequenter (maar niet op basis van retrieval practice) bestudeerde. Dus het is niet uit te sluiten dat het vaker met de leerstof geconfronteerd worden eveneens een invloed had naast het testing effect.
Globaal stellen de onderzoekers dat het zinvol is studenten in hun studeertijd online quizzen aan te bieden en dat dit een positief effect heeft op hun leeruitkomsten. Tevens leidt dit niet alleen tot een beter resultaat op gelijksoortige vragen, maar is er ook sprake van transfer tussen feiten- en toepassingskennis en omgekeerd bij het afnemen van tussentijdse online testen.
Het testing effect houdt in dat lesmaterialen die na een initiële leerfase actief herinnerd en opgehaald werden, zeker op lange termijn beter onthouden worden dan wanneer deze lesmaterialen tijdens een volgende studiefase opnieuw gelezen, bestudeerd, ... worden. Dit effect is nog sterker indien er bij het (tussentijds) testen gebruik gemaakt wordt van feedback.
Interessant aan het artikel "Testing Encourages Transfer Between Factual and Application
Questions in an Online Learning Environment" ($) is dat er nagegaan werd of indien er bij de tussentijdse testen gebruik gemaakt werd van vragen die peilen naar 'feitenkennis' er ook leerwinst optrad indien de eindtoetsen peilden naar 'toepassing' van die kennis (en vice versa). Het gaat 'm dus om de transfer van kennis.
Dubbel interessant (vind ik toch) is dat het experiment plaatsvond in een online leeromgeving.
Tenzij expliciet anders vermeld, komt volgende informatie uit het artikel van Thomas, Weywadt, Anderson, Martinez-Papponi, & McDaniel, (2018).
Inleiding
In experimenteel onderzoek naar retrieval practice wordt tijdens de tussentijdse testen en eindtest vaak gebruik gemaakt van identieke vraagvormen. In de praktijk zijn lesgevers echter vaak terughoudend om op een eindtoets dezelfde vraagtypes te hanteren als tijdens de oefenmomenten. Een bijkomende vraag die men zich kan stellen is, als je dezelfde vragen gaat gebruiken vindt er dan niet uitsluitend rote learning plaats (eerder 'van buiten leren' in plaats van betekenisvol leren waarbij nieuwe kennis geïntegreerd wordt in bestaande cognitieve schema's, eigen toevoeging)?Thomas et al. beschrijven dat bestaand onderzoek naar transfer in realistische klaspraktijken wisselende resultaten opleverde. Indien de vragen op tussentijdse testen peilden naar toepassing van kennis, was er wel sprake van transfer indien de vragen op de eindtest gericht waren op feiten, maar niet omgekeerd. Ander onderzoek vond dan weer dat er geen transfer plaatsvond, behalve wanneer de tussentijdse testen gepaard gingen met het achteraf in klas bespreken van de resultaten.
(Zeker in een online leeromgeving) vindt deze in klas bespreking zelden plaats. De opzet van de onderzoekers was dan ook om na te gaan of er transfer optrad (van feiten naar toepassing en omgekeerd) indien er uitsluitend sprake was van online correctieve feedback (het juiste antwoord), zonder bespreking.
De experimenten
Experiment werd uitgevoerd in een online cursus neurowetenschappen. Tijdens de tussentijdse testen werd bepaalde leerstof bevraagd met vragen die peilden naar feitenkennis en andere die peilden naar toepassing van die kennis.Dezelfde participanten (within-subjects design) kregen op de eindtest 36 vragen voorgeschoteld: 12 hiervan gericht op feitenkennis, 12 op toepassen van kennis en 12 gerelateerd aan de leerstof maar niet expliciet bevraagd bij tussentijdse toetsen. Tussentijdse toetsen bestonden uit kort-antwoord vragen, eindtoetsen uit meerkeuzevragen.
De tussentijdse toets werd na het volledig afwerken voorzien van feedback in de vorm van het juiste antwoord (dat overeen kwam met de juiste optie tijdens de latere eindtoets).
Bevindingen:
- indien vragen tijdens de tussentijdse toets peilen naar feiten, dan worden feitenvragen op de eindtoets significant beter beantwoord dan toepassingvragen over dezelfde materie. Omgekeerd geldt hetzelfde;
- algemeen was de score op de eindtoets hoger voor leerstof die tussentijds getoetst werd dan voor leerstof die niet tussentijdse getoetst werd, ongeacht vraagtype;
- wat transfer betreft: indien leerstof tussentijdse feitelijk getoetst werd, vergeleken met leerstof die niet getoetst werd, werden ook toepassingsvragen significant beter beantwoord dan vragen die niet tussentijds getoetst werden.
De onderzoekers controleerden in experiment 2 voor de mogelijkheid dat studenten het juiste antwoord tijdens de eindtoets zouden herkennen: tijdens experiment 1 werd in de juist-antwoord feedback immers het exacte antwoord gegeven zoals het later voorkwam in de antwoordopties van de eindtoets. In experiment 2 werden andere bewoordingen en formuleringen in deze feedback gebruikt dan de antwoordopties in experiment 1. Tevens werd feedback voorzien meteen na een vraag en niet aan het einde van de tussentijdse toets.
De resultaten bleven ook in experiment 2 gelijkaardig, zodat kan gesteld worden dat er geen sprake was van een zuiver 'herkenningseffect' maar wel degelijk van transfer.
Besluit
De onderzoekers besluiten dat het toepassen van test-enhanced learning voordelig kan zijn voor studenten van alle leeftijden. Het feit dat eerder onderzoek bij middle school studenten geen transfer van kennis aantoonde, kan te wijten zijn dat het in dit onderzoek college studenten betrof die reeds verder stonden in hun cognitieve ontwikkeling.Tevens stellen ze dat motivatie van studenten een rol kan gespeeld hebben: zij die niet alle tussentijdse testen afnamen scoorden niet beter op de eindtoets.
Het resultaat kan eveneens te wijten zijn aan het feit dat er tussentijdse open vragen gesteld werden, en bijvoorbeeld geen meerkeuzevragen. Ook eerder onderzoek heeft het grotere voordeel van free recall vragen vergeleken met gesloten vragen tijdens tussentijdse testen in het kader van het testing effect aangetoond. Wellicht doordat free recall een grotere inspanning vergt bij het herinneren (desirable difficulty, eigen toevoeging).
De onderzoekers merken nog op dat het een realistisch onderzoek in een online cursus betrof: ze hadden dus geen controle over hoe studenten studeerden naast de tussentijdse toetsen (mogelijks maakten ze ook gebruik van zelftesten naast de door de onderzoekers aangeboden tussentijdse toetsen). Daarnaast werd er geen gebruik gemaakt van een controlegroep die de leerstof frequenter (maar niet op basis van retrieval practice) bestudeerde. Dus het is niet uit te sluiten dat het vaker met de leerstof geconfronteerd worden eveneens een invloed had naast het testing effect.
Globaal stellen de onderzoekers dat het zinvol is studenten in hun studeertijd online quizzen aan te bieden en dat dit een positief effect heeft op hun leeruitkomsten. Tevens leidt dit niet alleen tot een beter resultaat op gelijksoortige vragen, maar is er ook sprake van transfer tussen feiten- en toepassingskennis en omgekeerd bij het afnemen van tussentijdse online testen.
Reacties
Een reactie posten