Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.
Vooraf
Toetsen digitaal afnemen is iets wat niet alleen op schoolniveau overwogen en/of toegepast wordt. In Nederland kan bijvoorbeeld gekozen worden om de ‘doorstroomtoets’ digitaal af te nemen en sinds schooljaar 2023-2024 is men in Vlaanderen gestart met gestandaardiseerde toetsen die ook digitaal afgenomen worden. In ons boek 'Wijze lessen. Digitale didactiek' beschrijven we kort wat dit kan betekenen in de context van lezen van een scherm versus papier (p. 74).
Digitale toetsen bieden daarnaast mogelijkheden om niet alleen statische, maak ook dynamische beelden te integreren in de toetsvragen. Naar het gebruik van multimedia (= woord en beeld combineren) in functie van leren is reeds veel onderzoek verricht. Denk aan het werk van Richard E. Mayer, waarover ik onder andere in deze blogpost wat meer achtergrond beschreef. Mayer beschreef een 15-tal (ontwerp)principes die eraan kunnen bijdragen dat leren van/met multimedia bevorderd wordt.
Er bestaat echter veel minder onderzoek naar het effect van het gebruik van multimedia in toetsen. In geval van multimedia in toetsen is het doel dan ook anders. Je wil het leren niet bevorderen, maar het geleerde meten. Het gebruik van woord en beeld in toetsen dient bij te dragen aan het onderscheiden van lerenden die de kennis en vaardigheden bezitten van zij die deze niet bezitten (of ook, multimediagebruik mag er niet toe leiden dat lerenden die de leerstof niet beheersen vragen wel correct gaan beantwoorden) (Kirschner et al., 2023).*
Afbeelding gemaakt met Copilot nadat Gemini Advanced 1.5 Pro weigerde dit voor mij te doen.
Het artikel
Het artikel is een beschrijvende overzichtsstudie van Schewior & Lindner (2024) naar het gebruik van multimedia (tekst en beeld) in toetsen. Enkele interessante bevindingen, maar zeker zoveel vaststellingen van wat nog verder onderzocht dient te worden voor een effectief gebruik van beelden in toetsen.
De auteurs maken een onderscheid tussen verschillende soorten functies van afbeeldingen in toetsen en wat het effect daarvan is op toetsuitkomsten:
- Decoratieve afbeeldingen: deze dragen niet rechtsreeks bij aan het oplossen van een probleem. Enigszins verrassend is dat er geen betekenisvol (negatief noch positief) effect is van het toevoegen van deze beelden. Als er decoratieve beelden toegevoegd worden aan bijvoorbeeld presentaties in functie van leren, heeft dit door de band genomen een negatief effect op leeruitkomsten (voornamelijk voor minder sterke lerenden). De decoratieve beelden gaan aan de haal met cognitieve capaciteit die niet voor leren kan ingezet worden. Het zijn zogeheten 'verleidelijke details' (seductive details, zie bijvoorbeeld hier) die afleiden van wat relevant is voor het leren. Uit deze overzichtsstudie blijkt echter dat decoratieve beelden niet noodzakelijk een negatief effect moeten hebben op toetsresultaten (maar ook geen positief, voor alle duidelijkheid, doordat ze bijvoorbeeld een positief affect zouden veroorzaken tijdens het maken van een toets).
- Representatieve afbeeldingen: bevatten wél relevante info nodig voor het beantwoorden van een vraag, maar géén nieuwe info naast de info die al woordelijk weergegeven werd. Ze geven info een tweede maal weer door de tekst bijvoorbeeld visueel te structureren voor de lerenden.** Gemiddeld beschrijft het onderzoek van representatieve beelden een positief effect op leeruitkomsten en een toename van vertrouwen en 'enjoyment' van lerenden bij het afnemen van een toets.
- Informatieve afbeeldingen: deze bevatten eveneens essentiële informatie, maar het betreft nieuwe info die niet in de tekst staat. Lerenden zijn dus genoodzaakt informatie die alleen in het beeld staat (en niet in de tekst) te verwerken. Voor deze vorm van afbeeldingen is het effect wisselend en lijkt het eerder negatief te zijn (NB de vraag kan gesteld worden of het voor de lerenden steeds duidelijk is dat ze info uit het beeld moeten halen en ze eventueel expliciet een extra tip nodig hebben dat ze zeker de afbeelding moeten gebruiken bij het oplossen van een vraag. Maar het zou eventueel mogelijk zijn dat én info uit de tekst halen én info het het beeld halen voor overbodige cognitieve belasting zorgt, en dus een negatief effect op het oplossen van de vraag heeft).
De onderzoekers wijzen ook op het feit dat wat er gemeten wordt met de toets van belang is: gaat het om cognitieve, metacognitieve of affectieve (bv motivationele) uitkomsten? Daarnaast geven ze aan dat leeftijd, voorkennis, dynamisch vs statische beelden (zie verder) ... allemaal nog beïnvloedende factoren zijn die verder onderzocht dienen te worden om te bepalen wanneer wel en niet deze 'gemiddelde' en beschrijvende bevindingen precies gelden.
In ander onderzoek (Ehrhart & Lindner, 2023; Ehrhart et al., 2024) wordt onder andere nagegaan of dynamische representatieve beelden een voordeel hebben ten opzichte van statische beelden (en alleen woorden bij een controlegroep) bij het oplossen van wiskundige problemen. Representatieve beelden bleken ook in dit onderzoek een positief effect te hebben ten opzichte van de controlegroep, maar dynamische beelden niet betekenisvol meer dan statische beelden. De onderzoekers concluderen - ik druk het wat sterker uit - dat je je het 'meer'werk van het toevoegen van dynamische beelden op basis van hun onderzoek kan besparen. Al is dat dus een voorlopige conclusie, en het gaat specifiek om wiskundige problemen en geldt daarom niet noodzakelijk voor toetsen/toetsvragen over andere leerinhouden.
NB in het artikel van 2023 werd een beperkt voordeel van dynamische representatieve beelden vastgesteld, vooral als gesproken en niet geschreven tekst gecombineerd werd met dynamische beelden.
Conclusie
In vergelijking met wat we al weten over het multimedialeren, is de kennis over 'multimediatoetsen' nog enigszins beperkt. Het lijkt er momenteel op dat afbeeldingen die wat er reeds in de tekstuele vraag stond ondersteunen, structureren voor de lerenden (representatieve afbeeldingen) ... een positieve bijdrage kunnen leveren aan het oplossen van de vragen. Maar er is dus nog verder onderzoek nodig om deze resultaten te bevestigen, of te bepalen voor welke lerenden onder welke omstandigheden de voorlopige bevindingen gelden. Wel boeiend en relevant in een 'digitaal toetstijdperk'.
*In dit artikel pleiten Kirschner, Park, Malone, en Jarodzka voor een 'cognitive theory of multimedia assessment', naast een 'cognitive theory of multimedia learning'.
**De onderzoekers vermelden dergelijke 'organisatorische' afbeeldingen als een subcategorie van representatieve afbeeldingen. Rpresentatieve afbeeldingen kunnen woordelijke info dus ook 'gewoon' visueel herhalen, niet noodzakelijk structureren of organiseren.
Bronnen
Ehrhart, T., Höffler, T. N., Grund, S., & Lindner, M. A. (2024). Static versus dynamic representational and decorative pictures in mathematical word problems: Less might be more. Journal of Educational Psychology, 116(4), 532-549. https://doi.org/10.1037/edu0000821
Ehrhart, T., & Lindner, M. A. (2023). Computer-based multimedia testing: Effects of static and animated representational pictures and text modality. Contemporary Educational Psychology, 73, 102151. https://doi.org/10.1016/j.cedpsych.2023.102151
Kirschner, P. A., Park, B., Malone, S., & Jarodzka, H. (2023). Toward a Cognitive Theory of Multimedia Assessment (CTMMA). In J. M. Spector, B. B. Lockee, & M. D. Childress (Red.), Learning, Design, and Technology (pp. 153-175). Springer International Publishing. https://doi.org/10.1007/978-3-319-17461-7_53
Schewior, L., & Lindner, M. A. (2024). Revisiting Picture Functions in Multimedia Testing: A Systematic Narrative Review and Taxonomy Extension. Educational Psychology Review, 36(2), 49. https://doi.org/10.1007/s10648-024-09883-0
Reacties
Een reactie posten