Het beloofde land van blended learning: quizzen als moderator

Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.

In onze organisatie zijn we voorzichtig gestart met blended learning, in combinatie met de aanschaf van een Learning Management System (LMS). Misschien niet echt "hip" of zelfs aan de late kant, al is de voorspelde dood van het LMS er niet gekomen, zoals recent nog beschreven in een blogpost van Wilfred Rubens over belangrijke trends op het gebied van leertechnologie.
Blended leren is bij ons deels ingegeven vanuit de praktische voordelen (onder andere, leren meer afstemmen op het leven van onze vaak volwassen studenten met een gezin, betere bereikbaarheid van bronnen, ...) en anderzijds trachten tegemoet te komen aan individuele leernoden, snelheden, ... en de eventuele positieve invloed van blended leren op leeruitkomsten.

Maar werkt dat nu eigenlijk, blended learning? Mede door de zoektocht naar een antwoord op deze vraag (en mijn interesse in quizzes als ondersteunend leermiddel) kwam ik dit artikel tegen "The promised land of blended learning: Quizzes as a moderator" (Spanjers, et al., 2015)

Vanaf hier, tenzij expliciet anders vermeld, alleen info uit het artikel en geen eigen interpretaties.

Introductie

Een combinatie van enerzijds face-to-face en online leren blijkt uit de literatuur iets effectiever te zijn dan uitsluitend de 'traditionele' methode: een combinatie van voordelen van beide vormen. Studenten ervaren beide manieren grotendeels als even aangenaam, maar blended learning (BL) zou meer inspanning vergen. Het gebruik van quizzen zou zowel de effectiviteit als de perceptie rond BL positief beïnvloeden.
Het uitgangspunt van het artikel is dat bedachtzaam geïmplementeerd BL, eventueel voorzien van quizzes, het onderwijs kan helpen verbeteren.
Er is reeds veel onderzoek gebeurt naar BL en de onderwijsvorm wordt veelvuldig gehanteerd in zowel hoger onderwijs als op lagere leeftijd (K-12 education). In dit onderzoek worden de resultaten van meta-analyses vergeleken met bestaand onderzoek en aan een statistische synthese onderworpen, om zo een beter beeld te krijgen van de effectiviteit, de perceptie van studenten en een evaluatie van noodzakelijke investeringen.

Redenen voor implementatie van blended leren

• BL biedt mogelijkheden die een traditionele lesvorm niet heeft. Denk aan het gebruik maken van frequente quizzes/zelftests (en directe feedback), meer mogelijkheid tot variatie en binnenbrengen van authentieke leeractiviteiten;
• Door BL te implementeren, wordt er opnieuw nagedacht over de organisatie en opzet van de onderwijsaanpak, wat gezien de mogelijkheden van internet en computers, kan leiden tot een meer actieve en lerende-gerichte aanpak;
• BL biedt de student meer controle over zijn leerproces. Denk aan het tempo, of de keuze tussen verschillende materialen om hetzelfde onderwerp te bestuderen;
• BL combineert verschillende vormen van instructie en komt daardoor tegemoet aan (ik citeer gewoon; eigen toevoeging) de verschillende leerstijlen van de studenten;
• BL sluit omwille van zijn aard, beter aan bij de 'computer'wereld waarin lerenden heden ten dage leven;
• BL zet studenten er beter toe aan hun leeractiviteiten te spreiden, bijvoorbeeld mede door geregelde quizzen (spacing, zie ook mijn post daarover; eigen toevoeging);
• Leerinhouden zijn toegankelijker voor studenten, ze zijn niet plaats- en tijdgebonden. Maakt een combinatie van werk en leren haalbaarder;
• Minder face-to-face onderwijs leidt tot minder noodzaak van lokalen en een kostenbesparing;
• Gezien het om BL gaat, valt het face-to-face contact niet helemaal weg.

(de auteur haalt onderzoekers aan die stellen dat deze praktische overwegingen minder redelijk of zelfs discutabel zijn)

Maar misschien combineert BL ook de nadelen van beide vormen van instructie. Deze manier van leren vergt meer van de student wat betreft time-management en zelfregulatie. Meer aanbod kan dan wel zorgen voor een betere leerprestatie, maar de student besteedt ook letterlijk meer tijd aan de cursus. De geleverde inspanning vergroot. De efficiëntie daalt dan.

Meta-analyses zijn noodzakelijk om de vermelde voor- en nadelen daadwerkelijk te verifiëren, het in kaart brengen van de perceptie van de student met betrekking tot BL (heeft ook invloed op de effectiviteit) alsook de afweging van opbrengst en investeringen.

Vorige meta-analyses

De resultaten worden beschreven van reeds uitgevoerde meta-analyses, kort samengevat:

• kleine tot medium positieve effecten voor leeruitkomsten in geval van BL;
• minder onderzoek naar perceptie en ervaring van studenten met betrekking tot BL, resultaten variëren hier sterker, van medium positieve tot triviaal negatieve effectgroottes.

De meta-analyse in dit onderzoek wil een beter beeld krijgen, onder andere door:

• oudere studies (voor 2005) niet meer te betrekken aangezien de mogelijkheden van computers en internet sterk geëvolueerd zijn, tevens zijn scholen zijn op het vlak van IT veel beter uitgerust;
• meerdere niveaus van onderwijs te betrekken;
• zelf-evaluaties met betrekking tot het leerproces werden niet in kaart gebracht, wel tevredenheid betreffende de cursus en/of de docent;
• beter afbakenen van de definitie van 'blended learning' in zoekopdrachten: het online gedeelte moest een significant deel uitmaken van de totale instructie, niet uitsluitend een aanvulling ervan;
• verder analyseren van de te leveren inspanningen enerzijds en een betere leeruitkomst anderzijds.

Doel onderzoek

De auteurs onderzochten de effectiviteit, de perceptie door studenten en de te leveren inspanningen in combinatie met de eerste twee, van BL, vergeleken met een meer traditionele face-to-face aanpak.

Tevens werd er nagegaan, indien er significante verschillen vastgesteld werden, welke parameters hierin een rol speelden, zoals:

• de duur van de BL cursus;
• hoe BL werd vormgegeven: welke communicatievormen, gebruik van quizzes?;
• de rol van specifieke vakgebieden;
• de rol van opleidingsniveau;
• het effect van toewijzing tot de BL-conditie of de controlegroep (invloed van het feit dat studenten in en conditie komen waaraan ze de voorkeur geven).

Methode

In het artikel wordt de onderzoeksprocedure vervolgens uitgebreid beschreven, gaande van literatuuronderzoek en gehanteerde zoektermen en de criteria waarop beslist werd een artikel te weerhouden (beoordelen van abstract, uitsluiten indien er geen specifieke vergelijking werd gemaakt tussen blenden en traditionele instructie, niet van voor 2005 ...).

De meetschalen worden toegelicht, zowel objectief (kwantitatieve data betreffende leerwinst, resultaten van testen aan het einde van de cursus) als subjectief, met betrekking tot de perceptie van de instructiemethode door lerenden.

Coderen van moderatoren (duur, opleidingsniveau, aanwezigheid van quizzes ...) wordt beschreven alsook de gebruikte methode voor het bepalen van effectgroottes en de gehanteerde schaal (0.2 klein, 0.5 medium, 0.8 groot) correctie bij outliers en heterogeniteit ...

Resultaten

Voor de vier onderdelen (effectiviteit, tevredenheid, investering en moderatoren) wordt telkens de effectgrootte beschreven en eventuele correcties voor outliers, heterogeniteit, samengevat:

• effectiviteit: significant, kleine tot medium positieve effectgroottes voor BL;
• tevredenheid: niet significant, triviaal positief effect voor BL;
• investering: significant, groot negatief effect voor BL (slechts vier studies en vermoeden van invloed van heterogeniteit);
• moderatoren: alleen voor quizzen was er een significante relatie met de effectgroottes van effectiviteit en tevredenheid.

Discussie

Globaal is er dus sprake van een hogere effectiviteit van BL, de tevredenheid voor beide instructiemethodes is ongeveer even groot, studenten ervaren dat ze voor BL meer inspanningen moeten leveren en het toevoegen van quizzes leidt tot een verhoogde effectiviteit van BL (niet noodzakelijk causaal verband). Deze vaststelling komt overeen met reeds bestaande evidentie betreffende effectieve leerstrategieën (zie ook mijn post over retrieval, spacing, interleaving ...; eigen toevoeging). 

Tussen de verschillende studies varieerden de resultaten soms sterk.

Algemeen kwamen deze resultaten overeen met voorheen uitgevoerde meta-analyses.

Een afweging blijft de ervaren hogere inspanning versus de hogere effectiviteit van BL. Dit kan enerzijds de bedoeling zijn, maar men dient er als ontwerper wel rekening mee te houden. Tevens is er een algemeen positief effect, maar dat betekent niet dat minder goed doordachte strategieën van BL ook een negatief effect kunnen hebben: BL is niet 'gewoon' materiaal online zetten.

Tot slot, een weloverwogen inzetten van BL, eventueel voorzien van geregelde quizzes, kan een positief effect hebben op de leeruitkomst.

Limitaties en verder onderzoek

In het artikel wordt ook uitvoerig aandacht besteed aan beperkingen van het onderzoek en suggesties voor verdere studies, zoals:

• niet alle studies gebruikten grote steekproeven;
• de meeste deelnemers waren universitair: moeilijk generaliseerbaar naar populatie;
• soms ging invoer BL gepaard met andere ingrepen die van invloed konden zijn op tevredenheid, effectiviteit ... confounders niet altijd makkelijk te onderscheiden;
• slechts drie studies maakten gebruik van een experimenteel design;
• geen onderzoek naar tevredenheid van andere stakeholders, zoals leerkrachten of het positief effect van de 'bereikbaarheid' van de studiematerialen;
• mogelijk publicatie-bias waardoor studies met lagere positieve effecten de peer-reviewed tijdschriften niet gehaald hebben.

Referenties

Rubens, W. (2018, 10 december). Wat worden komend jaar belangrijke trends op het gebied van leertechnologie? Verkregen van https://www.te-learning.nl/blog/wat-worden-komend-jaar-belangrijke-trends-op-het-gebied-van-leertechnologie/

Spanjers, I. A., Könings, K. D., Leppink, J., Verstegen, D. M., de Jong, N., Czabanowska, K., & van Merrienboer, J. J. (2015). The promised land of blended learning: Quizzes as a moderator. Educational Research Review, 15, 59-74.