Over het effect van adaptive retrieval practice met meerkeuzevragen

Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.

Ik kwam het artikel 'Adaptive retrieval practice with multiple-choice questions in the university classroom' van Greving, Lenhard en Richter (2020) op het spoor via deze tweet van @P_A_Kirschner.

Het onderzoek van de auteurs gaat uit van een aantal aannames die in voorgaand (laboratorium)onderzoek uitvoerig en veelvuldig onderbouwd werden:

- retrieval practice, waarbij actief informatie opgehaald wordt uit het geheugen na een initiële leerfase, is effectiever dan bijvoorbeeld herstuderen. Dit zogenaamde testing effect treedt vooral op op langere termijn. Dit blijkt wanneer een test afgenomen wordt waarbij sprake is van een lang retention interval. Een retention interval is de periode tussen de laatste studiefase en een eindtest.

- het testing effect is sterker indien het ophalen van de informatie enige moeite kost. Bjork (1994) spreekt in deze context over desirable difficulties.

- anderzijds lijkt het ook van belang dat er effectief iets opgehaald wordt. Met andere woorden, het ophalen mag niet zo moeilijk zijn dat er niks herinnerd wordt. Er moet sprake zijn van een (initial) retrieval success. Rowland (2014) stelt dat er sprake moet zijn van minimaal 50% geslaagde retrieval opdat er een voordeel zou zijn van retrieval practice vergeleken met herstuderen.

De auteurs stellen dat testen (quizzes, flashcards, ...) geregeld gebruikt worden in online leeromgevingen om het leren te monitoren en te bevorderen. Het voordeel van technologie kan bestaan in het feit dat door deze testen een onmiddellijke, automatische adaptiviteit kan gecreëerd worden.

In veel bestaand onderzoek (en onderwijspraktijken) wordt tijdens de retrieval practice momenten géén rekening gehouden met de specifieke voorkennis van de studenten. Kort gezegd, voor de ene student kost het ophalen misschien geen moeite en voor de andere student is het te moeilijk en wordt er niets opgehaald.

De idee is dan ook dat als de testen adaptief zijn, zich aanpassen aan de individuele student, het voordeel van retrieval practice groter wordt.

Het onderzoek

De opzet van het onderzoek was within subjects. Dat wil zeggen dat dezelfde studenten drie manieren van studeren doorliepen en dat hun prestatie in elk van deze drie condities gemeten werd:

=> voor bepaalde leerstof werd retrieval practice aangeboden zonder dat de moeilijkheid zich aanpaste aan de deelnemer, voor andere leerstof was er sprake van adaptieve toetsing en tenslotte was er een controlecondite waarin studenten aangezet werden tot herstuderen.

De onderzoekers maakten de testen adaptief, door als studenten een fout antwoord gaven (fill in the blanks waarbij telkens vier keuzemogelijkheden gegeven werden) in een volgend scherm de keuzemogelijkheden beperkt werden (ze stonden er nog maar werden als fout aangeduid).

Van belang voor het interpreteren van de resultaten is dat de studenten ook bevraagd werden naar hoe moeilijk ze de eindtest hadden ervaren en hoe goed ze voorbereid waren (hoe grondig hadden ze het hoofdstuk bestudeerd?).

Resultaten en bespreking

- in lijn met voorgaand onderzoek bleek dat herstudie betere resultaten opleverde indien het retention interval eerder kort was. Naarmate de periode tussen het laatste studiemoment/retrieval langer werd, werd de leerstrategie retrieval practice effectiever. Deze 'knik' kwam er in dit onderzoek pas na meer dan 21 dagen.

- de onderzoekers vonden geen verschil tussen de adaptieve testconditie en de 'gewone' testconditie. Behalve, des te beter de studenten aangaven voorbereid te zijn, des te beter de resultaten waren in de adaptieve conditie. Des te meer studenten aangaven het hoofdstuk grondig gelezen te hebben voorafgaand aan de retrieval practice, hadden ze meer baat bij een adaptieve testvorm dan een testvorm waarbij geen keuzemogelijkheden verwijderd werden.

De verklaring zou gelegen kunnen zijn in het reeds aangehaalde belang van retrieval success. In de 'gewone' testconditie startten de deelnemers met een lage moeilijkheidsgraad (er waren reeds minder keuzemogelijkheden) terwijl de deelnemers in de adaptieve testconditie met alle keuzemogelijkheden aanwezig begonnen (dus lastiger, want meer keuzes, meer afleiders). Hierdoor was het initial retrieval success groter in de 'gewone' testconditie, met een versterking van het testing effect als gevolg.

Wellicht daardoor is het te verklaren dat indien studenten aangaven grondiger voorbereid te zijn, zij wél baat had bij een adaptieve testvorm. Hun initial retrieval success was ook hoog, omdat zij ondanks een hogere moeilijkheidsgraad toch vaak succesvol waren bij het beantwoorden van de vragen.

Tevens bleek ook bij het vergelijken van de 'gewone' testconditie en de adaptieve testconditie een invloed van het retention interval. Des te langer dit was, des te groter het voordeel van adaptieve testvormen.

Studenten kunnen dus baat hebben, zeker op langere termijn, bij adaptive retrieval practice. De reden hiervoor kan gelegen zijn in het feit dat de moeite die het ophalen van informatie uit het geheugen dan aangepast is aan de (voor)kennis van de studenten. Als dit 'net genoeg pijn' doet is het positieve effect immers groter. Wel blijkt eveneens het belang van een goede studie, goede voorbereiding voorafgaand aan de retrieval practice. Immers, als het percentage geslaagde herinneringen te laag ligt, heeft dit een beperkend effect op het testing effect.

Referenties

Greving, S., Lenhard, W., & Richter, T. (2020). Adaptive retrieval practice with multiple‐choice questions in the university classroom. Journal of Computer Assisted Learning. https://doi.org/10.1111/jcal.12445