Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.
In "Retrieval Practice & Bloom’s Taxonomy: Do Students Need Fact Knowledge Before Higher Order Learning?" verricht Agarwal (2019) onderzoek naar de intuïtieve aanname dat er voordat er sprake kan zijn van leren van de hogere orde, eerst feitenkennis als basis moet gelegd worden. Meer bepaald, dat er eerst retrieval practice van feitenkennis moet plaatsvinden om beter te scoren op een eindtoets waar hogere orde vaardigheden zoals analyseren en creëren bevraagd worden.
In het artikel vertrekt Agarwal van de taxonomie van Bloom voorgesteld als een piramide, iets waarover toch wel wat bedenkingen bestaan (zie bijvoorbeeld hier en hier).
- desirable difficulties: indien RP meer moeite kost (bijvoorbeeld open vragen in plaats van meerkeuzevragen) gaat het effect op de eindtoets groter dankzij deze 'gewenste moeilijkheid'. Die idee kan eventueel door te trekken zijn naar dit onderzoek: als je reeds bij de RP voorafgaand aan de eindtoets complexere vragen stelt (of een mix van vragen die naar feiten peilen en complexere vragen) gaat het effect op een eindtoets groter zijn (zowel als deze bevraagt naar feiten als naar complexere materie);
- transfer appropriate processing: deze theorie stelt dat als er een match is tussen de aard van de vragen bij tussentijdse RT en de eindtoets, het effect van RP groter zal zijn. Dus voor dit onderzoek, dat als er bij de voorafgaande RP reeds hogere orde vragen gesteld worden, zal het effect groter zijn op eindtoetsen waar hogere orde vragen gesteld worden;
- foundation of factual knowledge framework: deze aanname suggereert dat er eerst een basis van feiten- en conceptenkennis moet zijn alvorens hogere orde vaardigheden aangeleerd worden. Het min of meer automatiseren van deze basiskennis, maakt beperkt de cognitive load, waardoor noodzakelijke ruimte vrijgemaakt wordt in het werkgeheugen wanneer de complexere content dient geleerd te worden of wanneer er transfer van kennis dient plaats te vinden (de cognitive load theory gaat uit van een beperkte capaciteit van ons werkgeheugen. Als deze capaciteit overbelast wordt, kan er geen leren plaatsvinden. Indien er echter reeds schema's met betrekking tot de te leren materialen in het langetermijngeheugen bestaan, kunnen deze in het verwerken van de nieuwe materie opgehaald worden en maken deze alzo ruimte vrij in het werkgeheugen; eigen toevoeging). Deze aanname gaat min of meer in tegen die van transfer appropriate processing, want uit het huidge experiment zou dan moeten blijken dat er bij voorafgaande RP met feiten- en conceptenvragen een beter resultaat zou moeten zijn op een eindtoets met complexere vragen.
Experiment 1
Vier condities (hoger onderwijs) werden gevormd: eenmalige studie van leerstof, twee maal studeren, eenmaal studeren gevold door lagere orde RP of hogere orde RP en ten slotte een eindtoets met ofwel lagere orde of hogere orde vragen (4x2 design).
De leerstof betrof teksten, dus geen woordparen of woordenschat, van ongeveer 1000 woorden lang. De eindtoets was twee dagen later.
Alle vragen waren van het meerkeuzetype. Lagere orde peilde naar begrip van concepten (niet zozeer feiten) die vrij letterlijk in de tekst stonden. Hogere orde betrof vragen van het niveau toepassen, analyseren, evalueren en creëren.
Experiment 1 bevestigde de aanname van transfer appropriate processing: indien RP plaatsvond met lagere orde vaardigheden, was het effect het grootst op een eindtoets die louter concepten bevroeg. Indien RP plaatsvond met hogere orde vaardigheden was het resultaat op de eindtoets beter indien deze complexere vragen betrof. Als de vragen op de tussentijdse toetsen en de eindtoetsen niet overeenkwamen, was er geen sprake van een effect van RP vergeleken met de herstudiecondities.
Dus de aanname van de factual knowledge foundation werd niet bevestigd, aangezien RP met conceptenvragen niet leidde tot een significante verbetering (vergeleken met herstuderen) op een eindtoets met hogere orde vragen.
Experiment 2
Hier werd niet meer vergeleken tussen herstudie en RP. De vier condities werden als volgt gevormd:
één tussentijdse toets (TT) met hogere orde vragen, twee TT met hogere orde vragen, twee TT met feitenvragen en ten slotte een conditie met gemixte TT (één feitentoets en één hogere orde toets).
Op de eindtoets scoorden de studenten uit de 'feiten'conditie en de mixed conditie het beste op een feitentoets.
Op een complexere eindtoets scoorden de studenten die twee keer een TT met complexere vragen aflegden het beste. De mixed conditie scoorde iets minder goed dan de conditie met slechts één complexe TT.
Globaal (als je een gemiddelde maakt van beide eindtoetsen) scoorde de mixed conditie het beste.
Dus, wederom werd de aanname van foundation of factual knowledge niet en die van transfer appropriate processing wél ondersteund.
Experiment 3
In dit experiment werd voornamelijk nagegaan of wat gevonden werd bij college studenten in experimenten 1 en 2, ook zou gelden bij leerlingen van lagere leeftijd (6th grade, vierde leerjaar).
Er werd gewerkt met een 'geen quiz', een 'mixed quiz' en een 'higher order' quiz conditie. De eindtoets bestond weer uit zowel lagere orde als hogere orde vragen.
Dit maal werden er gespreid over een week drie TT afgelegd (eentje voorafgaand aan het studeren van de leerstof, dus een pré-test), de eindtest volgde weer twee dagen na de laatste TT.
Globaal waren de resultaten van dit experiment gelijk aan de voorgaande, alleen scoorden leerlingen in de mixed conditie nu zelfs beter dan de hogere orde conditie op hogere orde vragen in de eindtoets (in experiment 2 was dit niet het geval).
- Een andere mogelijke factor kan het gebruik van meerkeuzevragen geweest zijn, welke volgens sommige educators niet geschikt zijn voor het faciliteren of meten van hogere orde vaardigheden.
- Er werden mental effort ratings afgenomen bij studenten tijdens het maken van hogere orde quizzen. Hun aangegeven ratings zouden lager dienen te zijn tijdens een complexe toets indien deze voorafgegaan waren door lagere orde quizzen (zoals hoger beschreven met betrekking tot de cognitive load theory). Dit was echter niet het geval. In overeenstemming met de bevindingen betreffende scores op de eindtoetsen, waren de ratings lager indien de voorafgaande TT een complexe toets betrof.
- De aanname van het foundation of factual knowledge framework dat er een kennisbasis dient te zijn vooraleer er hogere orde vaardigheden konden aangeleerd worden wordt niet bevestigd tijdens deze experimenten.
De resultaten van de mixed TT quizzes ondersteunen eigenlijk wel de aannames van de drie theorieën (desirable difficulties, foundation of factual knowledge en transfer appropriate processing).
Waarom de mixed vragen bij jongere studenten meer effect hadden op hogere orde eindtoetsen, kan te maken met hun mindere ervaring in het maken van transfer en het omgaan met complexere materialen. De lagere orde vragen werken dan als een soort opstap (scaffold) naar hogere orde vragen (wat dan m.i. wel 'ruikt' naar de noodzaak voor een kennisbasis om hogere orde vaardigheden aan te leren, een noodzaak die minder sterk is bij college students omwille van hun ervaring; eigen toevoeging).
Agarwal eindigt met de conclusie dat het in tegenstelling tot wat wordt aangenomen, beter kan zijn om de hoogste lagen van de taxonomie te bereiken, reeds te starten met hogere orde RP in plaats van uitsluitend RP met feiten- en concepten vragen.
Dylan Wiliam [dylanwiliam]. (2017, 4 april). Bloom's taxonomie as it should be. Geraadpleegd op 11 januari 2020, van https://twitter.com/dylanwiliam/status/849277989577789441
In "Retrieval Practice & Bloom’s Taxonomy: Do Students Need Fact Knowledge Before Higher Order Learning?" verricht Agarwal (2019) onderzoek naar de intuïtieve aanname dat er voordat er sprake kan zijn van leren van de hogere orde, eerst feitenkennis als basis moet gelegd worden. Meer bepaald, dat er eerst retrieval practice van feitenkennis moet plaatsvinden om beter te scoren op een eindtoets waar hogere orde vaardigheden zoals analyseren en creëren bevraagd worden.
In het artikel vertrekt Agarwal van de taxonomie van Bloom voorgesteld als een piramide, iets waarover toch wel wat bedenkingen bestaan (zie bijvoorbeeld hier en hier).
Figuur overgenomen uit een Tweet van @dylanwiliam waar hij deze voorstelling van de taxonomie suggereert
Voorgesteld als een piramide, zou de indruk kunnen ontstaan dat de lagere lagen van 'minder waarde' zouden kunnen zijn (al kan je het natuurlijk ook als een noodzakelijke laag zien voor de rest, het fundament). Terwijl vaak gesteld wordt dat de onderste laag, de kennis, ook van feiten en concepten, noodzakelijk is voor de hogere orde vaardigheden (met vaardigheden bedoel ik geen psychomotore vaardigheden). In ieder geval bestaat er geen bewijs dat Bloom de piramide-voorstelling heeft bedacht, maar zijn taxonomie was veeleer een raamwerk.
Agarwal verwijst (bij de uitleg van experiment 2) in haar artikel naar een blogpost van Knapp (2016) waar de taxonomie niet als een piramide, maar als een wiel of web wordt voorgesteld, dus zonder de hiërarchie en zelfs zonder de onderste 'kennisbasis'. Ook in haar boek Powerful Teaching (2019) suggereert Agarwal het 'piramide-leren' te vervangen door powerful learning (p.42) met een mix van retrieval practice op alle niveaus van het 'denken', zeker als je beoogde doel de bovenste niveaus behelst.
Vanaf nu wordt het artikel zelf gevolgd, tenzij expliciet anders vermeld.
Inleiding
Het is van belang in het onderwijs studenten hogere orde vaardigheden met betrekking tot leren (creëren, evalueren, ...) aan te leren. De vraag hierbij is, dient er eerst een degelijk fundament van feitenkennis gelegd te worden alvorens hogere arde vaardigheden kunnen aangeleerd worden? Of besteden we te veel tijd aan het onderwijzen van deze feiten en concepten en dienen we vroeger werk te maken van het aanleren van deze skills?
Agarwal wijdt dan een stukje aan de reeds vermelde taxonomie van Bloom en de lagere orde vaardigheden (herinneren, begrijpen, en toepassen) die volgens de piramide-redenering noodzakelijk zouden zijn voordat er hogere orde vaardigheden (analyseren, evalueren en creëren) kunnen aangeleerd worden.
Een ander onderscheid zou kunnen op basis van de taxonomie van Barnett en Ceci, waar lagere orde dan staat voor transfer naar vrij gelijkaardige contexten (stelling van Pythagoras oefeningen, maar dan telkens met andere waardes) en hogere orde voor 'verre transfer' (leren over geneeskunde in een boek en deze kennis dan gaan toepassen in echt patiëntencontact).
Retrieval practice (RP) staat voor het actief ophalen van reeds geleerde informatie (vaak vergeleken met opnieuw bestuderen, waarbij het leereffect van RP groter is, het zogenaamde testing effect; eigen toevoeging). In veelvuldig onderzoek, bij verschillende studentenpopulaties (leeftijd, aard van de opleiding), meerdere soorten content (zowel feitenkennis als complexere materialen) en verschillende vraagtypes (meerkeuze, kort antwoord, free recall) heeft RP zijn efficiëntie aangetoond als leerstrategie.
Recent onderzoek heeft eveneens aangetoond dat RP een positief effect heeft op wat hoger beschreven werd als 'far transfer' van kennis. Via een studie van McDaniel et al. (2013) (et al. is onder andere Agarwal) maakt de auteur een eerste melding van het gegeven dat het misschien efficiënter is in het aanleren van hogere orde vaardigheden om in RP voorafgaand aan een eindtoets reeds hogere orde vaardigheden te bevragen/testen in plaats van de idee dat er eerst feitenkennis moet ingeoefend worden.
De experimenten
Agarwal gaat uit van drie raamwerken met betrekking tot de relatie tussen feitenkennis en hogere orde vaardigheden:- desirable difficulties: indien RP meer moeite kost (bijvoorbeeld open vragen in plaats van meerkeuzevragen) gaat het effect op de eindtoets groter dankzij deze 'gewenste moeilijkheid'. Die idee kan eventueel door te trekken zijn naar dit onderzoek: als je reeds bij de RP voorafgaand aan de eindtoets complexere vragen stelt (of een mix van vragen die naar feiten peilen en complexere vragen) gaat het effect op een eindtoets groter zijn (zowel als deze bevraagt naar feiten als naar complexere materie);
- transfer appropriate processing: deze theorie stelt dat als er een match is tussen de aard van de vragen bij tussentijdse RT en de eindtoets, het effect van RP groter zal zijn. Dus voor dit onderzoek, dat als er bij de voorafgaande RP reeds hogere orde vragen gesteld worden, zal het effect groter zijn op eindtoetsen waar hogere orde vragen gesteld worden;
- foundation of factual knowledge framework: deze aanname suggereert dat er eerst een basis van feiten- en conceptenkennis moet zijn alvorens hogere orde vaardigheden aangeleerd worden. Het min of meer automatiseren van deze basiskennis, maakt beperkt de cognitive load, waardoor noodzakelijke ruimte vrijgemaakt wordt in het werkgeheugen wanneer de complexere content dient geleerd te worden of wanneer er transfer van kennis dient plaats te vinden (de cognitive load theory gaat uit van een beperkte capaciteit van ons werkgeheugen. Als deze capaciteit overbelast wordt, kan er geen leren plaatsvinden. Indien er echter reeds schema's met betrekking tot de te leren materialen in het langetermijngeheugen bestaan, kunnen deze in het verwerken van de nieuwe materie opgehaald worden en maken deze alzo ruimte vrij in het werkgeheugen; eigen toevoeging). Deze aanname gaat min of meer in tegen die van transfer appropriate processing, want uit het huidge experiment zou dan moeten blijken dat er bij voorafgaande RP met feiten- en conceptenvragen een beter resultaat zou moeten zijn op een eindtoets met complexere vragen.
Experiment 1
Vier condities (hoger onderwijs) werden gevormd: eenmalige studie van leerstof, twee maal studeren, eenmaal studeren gevold door lagere orde RP of hogere orde RP en ten slotte een eindtoets met ofwel lagere orde of hogere orde vragen (4x2 design).
De leerstof betrof teksten, dus geen woordparen of woordenschat, van ongeveer 1000 woorden lang. De eindtoets was twee dagen later.
Alle vragen waren van het meerkeuzetype. Lagere orde peilde naar begrip van concepten (niet zozeer feiten) die vrij letterlijk in de tekst stonden. Hogere orde betrof vragen van het niveau toepassen, analyseren, evalueren en creëren.
Experiment 1 bevestigde de aanname van transfer appropriate processing: indien RP plaatsvond met lagere orde vaardigheden, was het effect het grootst op een eindtoets die louter concepten bevroeg. Indien RP plaatsvond met hogere orde vaardigheden was het resultaat op de eindtoets beter indien deze complexere vragen betrof. Als de vragen op de tussentijdse toetsen en de eindtoetsen niet overeenkwamen, was er geen sprake van een effect van RP vergeleken met de herstudiecondities.
Dus de aanname van de factual knowledge foundation werd niet bevestigd, aangezien RP met conceptenvragen niet leidde tot een significante verbetering (vergeleken met herstuderen) op een eindtoets met hogere orde vragen.
Experiment 2
Hier werd niet meer vergeleken tussen herstudie en RP. De vier condities werden als volgt gevormd:
één tussentijdse toets (TT) met hogere orde vragen, twee TT met hogere orde vragen, twee TT met feitenvragen en ten slotte een conditie met gemixte TT (één feitentoets en één hogere orde toets).
Op de eindtoets scoorden de studenten uit de 'feiten'conditie en de mixed conditie het beste op een feitentoets.
Op een complexere eindtoets scoorden de studenten die twee keer een TT met complexere vragen aflegden het beste. De mixed conditie scoorde iets minder goed dan de conditie met slechts één complexe TT.
Globaal (als je een gemiddelde maakt van beide eindtoetsen) scoorde de mixed conditie het beste.
Dus, wederom werd de aanname van foundation of factual knowledge niet en die van transfer appropriate processing wél ondersteund.
Experiment 3
In dit experiment werd voornamelijk nagegaan of wat gevonden werd bij college studenten in experimenten 1 en 2, ook zou gelden bij leerlingen van lagere leeftijd (6th grade, vierde leerjaar).
Er werd gewerkt met een 'geen quiz', een 'mixed quiz' en een 'higher order' quiz conditie. De eindtoets bestond weer uit zowel lagere orde als hogere orde vragen.
Dit maal werden er gespreid over een week drie TT afgelegd (eentje voorafgaand aan het studeren van de leerstof, dus een pré-test), de eindtest volgde weer twee dagen na de laatste TT.
Globaal waren de resultaten van dit experiment gelijk aan de voorgaande, alleen scoorden leerlingen in de mixed conditie nu zelfs beter dan de hogere orde conditie op hogere orde vragen in de eindtoets (in experiment 2 was dit niet het geval).
Globale discussie
- Agarwal verwijst naar studies waarbij studenten expliciet de boodschap kregen dat de TT met feitenkennis gerelateerd was een de eindtoets met complexere vragen. Deelnemers aan haar experimenten kunnen eenvoudigweg niet geweten hebben dat er een verband bestond tussen de toetsen eengezien dit nooit vermeld werd.- Een andere mogelijke factor kan het gebruik van meerkeuzevragen geweest zijn, welke volgens sommige educators niet geschikt zijn voor het faciliteren of meten van hogere orde vaardigheden.
- Er werden mental effort ratings afgenomen bij studenten tijdens het maken van hogere orde quizzen. Hun aangegeven ratings zouden lager dienen te zijn tijdens een complexe toets indien deze voorafgegaan waren door lagere orde quizzen (zoals hoger beschreven met betrekking tot de cognitive load theory). Dit was echter niet het geval. In overeenstemming met de bevindingen betreffende scores op de eindtoetsen, waren de ratings lager indien de voorafgaande TT een complexe toets betrof.
- De aanname van het foundation of factual knowledge framework dat er een kennisbasis dient te zijn vooraleer er hogere orde vaardigheden konden aangeleerd worden wordt niet bevestigd tijdens deze experimenten.
De resultaten van de mixed TT quizzes ondersteunen eigenlijk wel de aannames van de drie theorieën (desirable difficulties, foundation of factual knowledge en transfer appropriate processing).
Waarom de mixed vragen bij jongere studenten meer effect hadden op hogere orde eindtoetsen, kan te maken met hun mindere ervaring in het maken van transfer en het omgaan met complexere materialen. De lagere orde vragen werken dan als een soort opstap (scaffold) naar hogere orde vragen (wat dan m.i. wel 'ruikt' naar de noodzaak voor een kennisbasis om hogere orde vaardigheden aan te leren, een noodzaak die minder sterk is bij college students omwille van hun ervaring; eigen toevoeging).
Agarwal eindigt met de conclusie dat het in tegenstelling tot wat wordt aangenomen, beter kan zijn om de hoogste lagen van de taxonomie te bereiken, reeds te starten met hogere orde RP in plaats van uitsluitend RP met feiten- en concepten vragen.
Bronnen
Agarwal, P. K. (2019). Retrieval practice & Bloom’s taxonomy: Do students need fact knowledge before higher order learning?. Journal of Educational Psychology, 111(2), 189.Dylan Wiliam [dylanwiliam]. (2017, 4 april). Bloom's taxonomie as it should be. Geraadpleegd op 11 januari 2020, van https://twitter.com/dylanwiliam/status/849277989577789441
Reacties
Een reactie posten