Is het testing effect groter voor "moeilijkere" dan "makkelijkere" items?

Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.

In hun onderzoek "Does Item Difficulty Affect the Magnitude of the Retrieval Practice Effect? An Evaluation of the Retrieval Effort Hypothesis" (€) gingen Lima et al. (2020) na of het effect van retrieval practice groter is als de te bestuderen items moeilijker zijn.

Afbeelding van Gordon Johnson via Pixabay

Na een initiële leerfase kunnen studenten de leerstof herhalen door na te lezen, 'passief' te markeren of opnieuw te bestuderen. Indien zij zich tijdens een volgend leermoment actief trachten de leerstof te herinneren, spreken we van retrieval practice. Studenten die deze leerstrategie toepassen, scoren doorgaans beter op een eindtoets en herinneren zich zeker op langere termijn meer van de leerstof dan zij die herlazen, markeerden, ... Dit noemen we het testing effect of retrieval practice effect (RPE).

Er zijn meerdere theorieën die een mogelijke verklaring trachten te geven voor het RPE. Eén daarvan is gebaseerd op het desirable difficulties framework en noemt men de retrieval effort hypothese (REH). In de REH wordt ervan uitgegaan dat als het (geslaagd) ophalen van een item meer moeite kost, het gevormde geheugenspoor sterker wordt. Deze effort (moeite) kan op meerdere wijzen gemanipuleerd worden. Bijvoorbeeld door de tijd tussen RP en initiële leerfase langer te maken, maar ook door de te bestuderen items moeilijker te maken.
Belangrijk is te onthouden dat het in de experimenten van Lima et al. (2020) over dit laatste ging: item difficulty (ID) (bepaalde woordparen in twee talen werden gelabeld als moeilijker dan andere, kort samengevat).

In twee experimenten werd nagegaan of het RPE kon bevestigd worden enerzijds en anderzijds of het RPE groter was voor moeilijkere items in overeenstemming met de REH. Dit gebeurde door de (Portugees sprekende) participanten woordparen Portugees-Swahili te laten bestuderen en vervolgens te laten herbestuderen of actief te laten ophalen (voor de volledige methode zie het artikel zelf, eigen toevoeging).

Resultaten

- in beide experimenten wordt het RPE bevestigd. Op de eindtoets konden de participanten méér correcte woordparen vormen (zich het Portugees woord herinneren) voor woordparen die actief opgehaald werden mits RP dan voor woordparen die opnieuw bestudeerd werden;
- in experiment 1 kon de REH niet bevestigd worden. Participanten scoorden hoger op de eindtoets voor woordparen die als makkelijk gelabeld werden. De onderzoekers geven echter zelf aan dat er een gelijk aantal oefensessies (vier keer RP-poging met vervolgens feedback met het goede antwoord) was voor zowel moeilijke als makkelijke woordparen. Hierbij was duidelijk dat moeilijkere woordparen vaker niet succesvol herinnerd werden tijdens RP pogingen. Lima et al. (2020) corrigeerden hiervoor in experiment twee, door de moeilijkere woordparen zes maal aan te bieden en de makkelijkere woordparen nog steeds vier maal en zo het aantal geslaagde herinneringen gelijk te trekken.
In experiment 2 werd een (niet significante) trend waargenomen dat het RPE groter was voor moeilijkere dan voor makkelijkere items, waarbij het aantal succesvolle herinneringen enigszins gelijk gehouden werd tijdens de oefenfase. Maar, rekening houdend met het gegeven dat de moeilijkere items ook twee keer vaker (met juiste antwoord) bestudeerd werden, is dit geen sterke onderbouwing van de REH.

De onderzoekers wijzen bij het gebruik van retrieval practice (voor moeilijkere items) in de klaspraktijk dan ook op het belang van geslaagde herinneringen.

Reliable retrieval practice effects for both easy and difficult materials suggest that this technique can be extended to a wide range of materials, not only easier ones – as long as high rates of initial recall of the material are achieved.

Eigen conclusie

De onderzoekers laten de eindtest afnemen 48u na de laatste studiefase. Deze zogenaamde retention interval (de tijd tussen laatste studiemoment en eindtoets) is niet zo bijzonder lang. Ik vraag me af wat er zou gebeuren als de eindtoets pakweg een week later nog eens zou afgenomen worden. Mogelijks wijzen de resultaten dan wel op een beter geheugenspoor voor de moeilijkere items? Zo wijzen Rowland en DeLosh (2015) er op dat het uitblijven van een testing effect in geval van een korte retention interval, sterk beïnvloed wordt door een vrij laag initial retrieval success.

Ten tweede, in experiment 2 werd het aantal geslaagde herinneringen in het totaal gelijk getrokken, maar het intial retrieval success (dus het aandeel geslaagde hernneringen bij de eerste RP-sessie) was voor de moeilijke woordsets nog steeds lager dan voor de makkelijkere woordparen. Ook dit initial retrieval succes kan ondanks het geven van feedback een blijvend effect hebben op de score op de eindtest. Rowland (2014) stelt dat bij een eerste RP-sessie 50% van de items succesvol dient opgehaald te worden om een significant testing effect te kunnen genereren.

Ik wijs tenslotte naar een post die ik schreef over adaptive retrieval, waarbij de initiële moeilijkheidsgraad (van invloed op het initiale retrieval success) aangepast wordt aan de individuele gebruiker. Niet alleen is volgens Vaughn en Kornell (2019) initial retrieval success van invloed op het resultaat op de eindtest. Het aanpassen van de moeilijkheidsgraad, door studenten in eerste instantie hints te geven, doet hen vaker kiezen voor het testen van zichzelf als leerstrategie. Indien lerenden de kans dat ze het juiste antwoord gaan vinden eerder klein achten, kiezen ze al sneller voor een andere studiemethode, zoals herstuderen.

Referenties

Lima, Marcos Felipe Rodrigues de, Venâncio, S., Feminella, J., & Buratto, L. G. (2020). Does item difficulty affect the magnitude of the retrieval practice effect? an evaluation of the retrieval effort hypothesis. The Spanish Journal of Psychology, 23 doi:10.1017/SJP.2020.33

Rowland, C. A. (2014). The effect of testing versus restudy on retention: a meta-analytic review of the testing effect. Psychological Bulletin, 140(6), 1432–1463. doi:10.1037/a0037559

Rowland, C. A., & DeLosh, E. L. (2015). Mnemonic benefits of retrieval practice at short retention intervals. Memory, 23(3), 403–419. doi:10.1080/09658211.2014.889710

Vaughn, K.E., Kornell, N. (2019). How to activate students’ natural desire to test themselves. Cogn. Research 4(35). doi:10.1186/s41235-019-0187-y


Reacties