Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.
Het afnemen van deze multiple choice (MC) testen, kan ook een negatief effect hebben, door het gebruiken van 'afleiders' die dan door studenten verkeerdelijk als 'juiste' informatie worden onthouden.
De kans om verkeerde info te onthouden (indien deze niet gecorrigeerd wordt door feedback) kan nog vergroot worden indien (1) studenten weinig gestudeerd hebben voor de test en (2) op basis van het aantal 'afleiders' dat gebruikt wordt in de MC test (bedoeld wordt het aantal foute antwoordopties per vraag, twee of drie ... naast het goede antwoord, des te meer afleiders, des te groter de kans op het foute antwoorden die dan als juist onthouden worden).
In beide gevallen is de kans immers groter dat er foute antwoordopties gekozen én onthouden worden als zijnde waar (een negatief testeffect, nog steeds in de veronderstelling dat er geen corrigerende feedback gegeven wordt).
De stelling van de onderzoekers is dat het positieve testeffect vergroot bij het geven van feedback en het negatieve effect van de afleiders (mogelijk) vermindert.
Feedback kan vele vormen aannemen, gaande van een goed-fout indicatie tot een volledige herhaling met uitleg over het goede antwoord.
Essentieel hier is dat de feedback tenminste het goede antwoord bevat zodat dit door de student kan worden opgeslagen.
- tijdens test 2 was er alleen een significant effect met betrekking tot studietijd, tussen de no-study en de restudy groep (meer juiste antwoorden in de laatste conditie), maar was er wel een significant verband tussen méér studietijd en minder foute antwoorden;
- tijdens test 2, was er een significant interactie-effect wat betreft meer studietijd in de conditie die géén feedback had gekregen. Maar in de groep die wél feedback had gekregen, maakte het niet veel uit hoeveel studietijd ze hadden gekregen voorafgaand aan test 1. Hetzelfde werd gevonden voor het aantal fout gegeven antwoorden, waarbij het effect van studietijd eveneens teniet gedaan werd door het geven van feedback;
- er was een effect (maar minder uitgesproken) van het aantal afleiders (meer) op gegeven juiste (minder) en foute (meer) antwoorden.
2. Studenten kregen de keuze om vervolgens toch bepaalde antwoorden te behouden of deze waar ze niet zeker van waren te verwijderen
De resultaten waren met betrekking tot juist en fout gegeven antwoorden hetzelfde wat betreft de effecten van de manipulaties, alleen, het totaal aantal juist gegeven antwoorden daalde significant (dus er werden veel juiste antwoorden weggelaten (uit twijfel?) die eigenlijk toch juist waren; eigen toevoeging), maar ook het aantal fout gegeven antwoorden daalde significant.
3. Samengevat: Feedback tijdens het afnemen van een MC test, heeft dus een gunstig effect op het aantal correct gegeven antwoorden en zorgt ervoor dat er minder foute antwoorden gegeven worden tijdens test 2. Deze hypotheses worden dus bevestigd door het onderzoek.
Uitgestelde feedback had een positiever effect dan directe feedback als het aankwam op juiste antwoorden, maar er was geen verschil tussen beide condities met betrekking tot aantal fout gegeven antwoorden op test 2 (met deze bedenking, dat 'uitgesteld' hier nog steeds betekent aan het einde van de test zelf, maar niet na iedere vraag. Uitgesteld is hier dus niet een dag, week, later ...).
De hoeveelheid studie heeft een significant effect op de prestaties tijdens een eerste MC test, maar indien er feedback gegeven wordt tijdens die MC test, is het effect van die studietijd grotendeels verdwenen op test 2.
Indien studenten na het verplicht invullen van antwoorden vervolgens de kans krijgen antwoorden te verwijderen, slagen ze er in een aanzienlijke hoeveelheid foute antwoorden te verwijderen, maar tegelijkertijd wissen ze ook betekenisvol veel juiste antwoorden (aan dit laatste wordt in de tekst nog aandacht besteed in de conclusie).
Het geven van feedback is dus steeds aan te raden omdat het het testeffect versterkt en ervoor zorgt dat er minder 'foute antwoorden als juist' blijven hangen. Het positief effect van meerkeuzetesten wordt zo versterkt, het negatieve effect verminderd door feedback.
Introductie
In dit onderzoek van Butler en Roediger (2008) Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing (geen Paywall) wordt uitgegaan van het feit dat het afnemen van testen met meerkeuzevragen niet alleen een positief effect heeft (het testing-effect, waarbij door actief ophalen van kennis (bijvoorbeeld vergeleken met opnieuw leerstof instuderen) een betere opslag van leerstof plaatsvindt in het langetermijngeheugen; eigen toevoeging).Het afnemen van deze multiple choice (MC) testen, kan ook een negatief effect hebben, door het gebruiken van 'afleiders' die dan door studenten verkeerdelijk als 'juiste' informatie worden onthouden.
De kans om verkeerde info te onthouden (indien deze niet gecorrigeerd wordt door feedback) kan nog vergroot worden indien (1) studenten weinig gestudeerd hebben voor de test en (2) op basis van het aantal 'afleiders' dat gebruikt wordt in de MC test (bedoeld wordt het aantal foute antwoordopties per vraag, twee of drie ... naast het goede antwoord, des te meer afleiders, des te groter de kans op het foute antwoorden die dan als juist onthouden worden).
In beide gevallen is de kans immers groter dat er foute antwoordopties gekozen én onthouden worden als zijnde waar (een negatief testeffect, nog steeds in de veronderstelling dat er geen corrigerende feedback gegeven wordt).
De stelling van de onderzoekers is dat het positieve testeffect vergroot bij het geven van feedback en het negatieve effect van de afleiders (mogelijk) vermindert.
Feedback kan vele vormen aannemen, gaande van een goed-fout indicatie tot een volledige herhaling met uitleg over het goede antwoord.
Essentieel hier is dat de feedback tenminste het goede antwoord bevat zodat dit door de student kan worden opgeslagen.
Procedure
Om hun hypothese te onderzoeken, verdeelden de auteurs de participanten in drie condities: één groep mocht de leerstof die ondervraagd werd niet bestuderen (no-study), één groep (study) mocht de tekst doornemen, en de laatste groep mocht de tekst doornemen en vervolgens de belangrijkste zinnen opnieuw bestuderen.
Vervolgens kregen ze allemaal test, maar met een variatie aan vragen wat betreft antwoordopties (twee, vier of zes) en of er al dan niet direct of uitgestelde feedback gegeven werd (dus of geen feedback, of feedback bij iedere vraag, of feedback maar dan helemaal aan het einde van de test).
Een aantal bestudeerde onderwerpen, werd niet bevraagd in de eerste maar wel in de tweede test.
(NB er werd ook nog een andere variabele in rekening gebracht, namelijk of er bij de tweede test moést of mocht geantwoord worden, dus in het totaal eigenlijk een 3x3x3x2 design).
Verwacht werd dat er een testeffect zou optreden (meer vragen correct over bestudeerde onderwerpen die ook nog eens bevraagd werden in test 1), maar dat dit testeffect ook nog eens zou beïnvloed worden door de hoeveelheid studie, door het aantal afleiders in de antwoordopties en of er op vragen van de eerste test feedback werd gegeven, het correct antwoord werd getoond.
Deze drie variabelen werden los van elkaar reeds in vroeger onderzoek onderzocht, maar nog nooit de mogelijke interactie tussen hen.
De tweede test werd een week later afgenomen, bestond uit exact dezelfde vragen, maar deze keer geen MC, maar 'vul de open ruimte in'-vragen (fill in the blanks). Dus het antwoord moest herinnerd worden, en niet herkend.
Resultaten en conclusie
Gezien het 3x3x3x2 design zijn er heel wat combinaties en dus ook resultaten:
1. Studenten dienden verplicht alle open plaatsen in te vullen met een antwoord:
- zoals voorgaand onderzoek reeds had aangetoond, was er een significant effect van zowel studietijd als aantal afleiders tijdens test 1. Meer studie, significant meer correcte antwoorden. Minder antwoordopties, significant meer juiste antwoorden;
- feedback tijdens test 1, leidde tot significant meer juiste antwoorden op test 2 (zelfs iets meer voor uitgestelde feedback dan voor directe feedback) en significant minder foute antwoorden;- tijdens test 2 was er alleen een significant effect met betrekking tot studietijd, tussen de no-study en de restudy groep (meer juiste antwoorden in de laatste conditie), maar was er wel een significant verband tussen méér studietijd en minder foute antwoorden;
- tijdens test 2, was er een significant interactie-effect wat betreft meer studietijd in de conditie die géén feedback had gekregen. Maar in de groep die wél feedback had gekregen, maakte het niet veel uit hoeveel studietijd ze hadden gekregen voorafgaand aan test 1. Hetzelfde werd gevonden voor het aantal fout gegeven antwoorden, waarbij het effect van studietijd eveneens teniet gedaan werd door het geven van feedback;
- er was een effect (maar minder uitgesproken) van het aantal afleiders (meer) op gegeven juiste (minder) en foute (meer) antwoorden.
2. Studenten kregen de keuze om vervolgens toch bepaalde antwoorden te behouden of deze waar ze niet zeker van waren te verwijderen
De resultaten waren met betrekking tot juist en fout gegeven antwoorden hetzelfde wat betreft de effecten van de manipulaties, alleen, het totaal aantal juist gegeven antwoorden daalde significant (dus er werden veel juiste antwoorden weggelaten (uit twijfel?) die eigenlijk toch juist waren; eigen toevoeging), maar ook het aantal fout gegeven antwoorden daalde significant.
3. Samengevat: Feedback tijdens het afnemen van een MC test, heeft dus een gunstig effect op het aantal correct gegeven antwoorden en zorgt ervoor dat er minder foute antwoorden gegeven worden tijdens test 2. Deze hypotheses worden dus bevestigd door het onderzoek.
Uitgestelde feedback had een positiever effect dan directe feedback als het aankwam op juiste antwoorden, maar er was geen verschil tussen beide condities met betrekking tot aantal fout gegeven antwoorden op test 2 (met deze bedenking, dat 'uitgesteld' hier nog steeds betekent aan het einde van de test zelf, maar niet na iedere vraag. Uitgesteld is hier dus niet een dag, week, later ...).
De hoeveelheid studie heeft een significant effect op de prestaties tijdens een eerste MC test, maar indien er feedback gegeven wordt tijdens die MC test, is het effect van die studietijd grotendeels verdwenen op test 2.
Indien studenten na het verplicht invullen van antwoorden vervolgens de kans krijgen antwoorden te verwijderen, slagen ze er in een aanzienlijke hoeveelheid foute antwoorden te verwijderen, maar tegelijkertijd wissen ze ook betekenisvol veel juiste antwoorden (aan dit laatste wordt in de tekst nog aandacht besteed in de conclusie).
Het geven van feedback is dus steeds aan te raden omdat het het testeffect versterkt en ervoor zorgt dat er minder 'foute antwoorden als juist' blijven hangen. Het positief effect van meerkeuzetesten wordt zo versterkt, het negatieve effect verminderd door feedback.
Referenties
Butler, A. C., & Roediger, H. L. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory & Cognition, 36(3), 604-616.
Reacties
Een reactie posten