Een analyse van de tegenargumenten mbt het gebruik van rubrics

 Feedback geven of bedenkingen formuleren? Lees misschien eerst deze disclaimer of Over deze blog.

In hun review 'A critical review of the arguments against the use of rubrics' doen Panadero en Jonsson (2020) onderzoek naar artikels waarin tegenargumenten beschreven worden voor het gebruik van rubrics.

Rubrics worden meer en meer ingezet in het onderwijs, alsook de artikels die verschijnen over de voor- en nadelen ervan. Nadelen zouden bijvoorbeeld zijn dat het expliciet delen van duidelijk omschreven criteria zou leiden tot een te sterke gerichtheid op (alleen) deze criteria en instrumenteel leren. Daarnaast zouden zeker 'pover' ontworpen rubrics nadelige gevolgen voor zowel leraren als lerenden kunnen hebben.

Definitie en doel

Een rubric maakt de criteria duidelijk op basis waarvan werk van studenten beoordeeld kan worden. Daarnaast worden beschrijvingen gegeven op basis waarvan het niveau bij een bepaald criterium ingeschat kan worden door de beoordelaar. Tot slot worden er scores gegeven per criterium op basis van de beschrijvingen. Er kan een onderscheid gemaakt worden tussen:

- holistische rubrics: er worden algemene beschrijvingen gegeven die op het hele werkstuk slaan, in één enkele beschrijving waarin alle criteria vervat zijn (vaker in summatieve assessment gebruikt);
- analytische rubrics: de verschillende criteria worden beschreven in aparte rijen en worden op elk apart scoringsniveau beschreven (eerder in formatieve assessment gebruikt).

Daarnaast kunnen rubrics variëren in de 'algemeenheid' van de taak of competentie die ze beschrijven en beoordelen. Gaande van een algemene skill als 'schrijven' tot een specificatie op het niveau waarbij het op voorhand delen van de rubric met studenten zou leiden tot het weggeven van antwoorden op een bepaalde vraag.
Met het specifieke van de beschreven taak/opdracht kan ook het aantal criteria dat opgenomen wordt in de rubric variëren. Voor formatieve toetsing is een meer gedetailleerde rubric gewoonlijk aangewezen om specifieke informatie te verstrekken aan studenten ter verbetering.

Enkele aanbevelingen voor een 'goede' rubric:

- geef in een analytische rubric niet zozeer een totaalscore maar leg de focus op de score van ieder specifiek criterium;
- gebruik niveaus voor ieder criterium om duidelijk aan te geven waar de student zich 'bevindt' richting doel;
- specificeer rubrics in die mate dat ze niet té algemeen zijn, maar zorg er ook voor dat ze voor gelijkaardige competenties te gebruiken zijn in andere taken;
- deel de rubric met de criteria en de kwaliteitseisen voorafgaand aan de taak met studenten. Betrek studenten eventueel bij het opstellen van de criteria van een rubric;
- gebruik beschrijvende terminologie, waaraan dient voldaan te worden, eerder dan evaluatieve terminologie als 'zwak' of 'excellent' ...

Effect van rubrics op de prestatie van studenten

- review m.b.t. rubrics voor formatief en summatief gebruik (2007): rubrics kunnen het leren en de instructie van lesgevers ten goede komen;
- review m.b.t. rubrics voor formatief gebruik (2013): rubrics verlagen de 'anxiety' bij studenten, verbeteren het feedbackproces en zelfregulatie bij de studenten dankzij de transparantie ten gevolge van rubrics.
Het onderzoek dat het positieve effect van rubrics beschreef is sindsdien stelselmatig toegenomen.

Hoe rubrics het leren ondersteunen

Rubrics maken de verwachtingen die leraren ten aanzien van hun studenten hebben transparant en duidelijk.
Daarnaast maken rubrics het mogelijk voor studenten om hun leerproces te plannen, monitoren en evalueren. Ze kunnen hun voortgang in kaart brengen en een finale check doen alvorens een werkstuk in te leveren. Rubrics verminderen het vermijdings/uitstelgedrag bij studenten, maar studenten die rubrics hanteerden zouden in een bepaald onderzoek wel meer stress ervaren tijdens het werken aan de taak dan een controlegroep.
Het vertrouwen in eigen bekwaamheid (self-efficacy) zou daarentegen niet noodzakelijkerwijze toenemen door het gebruik van rubrics. Een reden hiervoor zou kunnen zijn dat het door een rubric erg duidelijk is voor studenten wat (en hoe hoog soms) verwachtingen zijn.

Kritiek op het gebruik van expliciete criteria en rubrics

Rubrics gebruiken en criteria op voorhand delen kan er voor zorgen dat er te veel oog is voor onderdelen en niet het geheel. Het betreft hier voornamelijk het beoordelen: zo wordt er aangehaald dat beoordelaars meer vertrouwen zouden hebben in een algemene holistische beoordeling dan een analytische op basis van (hoeveel en gedetailleerd deze ook mogen zijn) criteria.
Ook het op voorhand delen van deze criteria zou geen goed idee zijn. Deze criteria kunnen onduidelijk zijn en evenmin een goede manier om studenten zich een beeld te laten vormen over wat 'kwaliteit' van hun werk inhoudt. In lijn hiermee, zou het studenten verhinderen in het autonoom worden in hun denken omdat ze aangestuurd worden door deze 'oppervlakkige' criteria (zie uitgebreidere beschrijving van deze kritiek onder 'Methode en resultaten', eigen toevoeging).

Methode en resultaten

Panadero en Jonsson weerhielden ongeveer 27 werken (26 artikels + 1 boek) en deelden de kritiek op in categorieën waarbij deze kritiek van de verschillende auteurs/onderzoekers telkens werd toegelicht en werd nagegaan in welke mate deze empirisch onderbouwd was (bijvoorbeeld gebruikt als criterium: betreft een een (quasi-)experiment of is het eerder anekdotische eigen ervaring). De uitgebreide beschrijving vind je in het artikel van p 14-46). Dit zijn de categorieën:

- standaardiseren en verenging van het curriculum: het gaat in dit criterium voornamelijk over het beoordelen door leraren en de beperking daarin veroorzaakt door criteria. Ook zouden rubrics een biased representatie veroorzaken van complexe vaardigheden. In twee artikels vonden de auteurs een wetenschappelijke basis voor die claims. Eentje gaat over een vergelijking tussen het gebruik van rubrics in peer-assessment of door comparatief beoordelen. De feedback gegeven door studenten zou bij comparatief beoordelen vaker hogere orde aspecten betreffen dan bij rubrics het geval was (meer informatie en een tool om comparatief te beoordelen vind je terug op deze website, eigen toevoeging).
In een tweede bron wordt het gegeven van exact hetzelfde aantal categorieën voor ieder criterium in twijfel getrokken; dit zou meer het 'gemak' dienen voor het opstellen van een rubric dan dat deze indeling ingegeven is door evidentie. Tevens kan het een halo-effect in de hand werken (als je een positief idee hebt betreffende een bepaald criterium, leidt dit er toe dat je dit positief beeld ook doortrekt naar andere criteria zonder dat de persoon in kwestie beantwoordt aan de vereisten daarvoor, eigen toevoeging).

De auteurs besluiten deze categorie nog met een m.i. interessante gedachte bij het formatief inzetten van rubrics: gebruik deze als een scaffold en bouw het gebruik stelselmatig af naarmate studenten de criteria meer en meer geïnternaliseerd hebben.

- te sterke (oppervlakkige) focus van de studenten op (alleen) de criteria: ("criteria compliance"). Hierbij gaat het meer om het leren van de studenten zelf, het leren dat louter gefocust is op de criteria en waarbij studenten niet op zoek gaan naar diepgang. De criteria dienen dan louter 'om te slagen', de nadruk ligt niet op 'leren'.
De auteurs vonden nauwelijks onderbouwing voor deze claims terug betreffende deze focus op criteria. Criteria compliance werd soms toegewezen aan het gebruik van expliciete criteria, terwijl deze compliance eerder het gevolg was van andere invloeden en bronnen (e.g. verbeterhandleiding, voorbeelden met annotaties). Ook blijken studenten de rubric-criteria geregeld te gebruiken als opstap om net wel te gaan richting reflectie en 'leren'.
Algemeen bleken er voor deze categorie weinig onderzoeken te vinden waarbij kon gezegd worden dat de criteria compliance en de te sterke sturing in het leerproces door de rubrics louter en alleen te wijten waren aan de expliciete criteria van de rubrics.

De auteurs sommen vervolgens onderzoek op, waarbij net de focus op leren, zelfregulatie en -vertrouwen, een proactieve houding en motivatie tot leren, verbeterden door het gebruik van rubrics. Alsook de leeruitkomsten en het begrip van studenten betreffende wat van hen verwacht werd.

Ik onthou hier zelf ook nog het volgende: vaak komt naar voren dat het een positief gegeven is de studenten te betrekken bij het opstellen van de (criteria van) de rubrics. Zowel rubrics die ingezet worden als tool voorafgaand aan een opdracht, als rubric die ingezet worden als tool om een bepaalde opdracht achteraf (zelf) te evalueren.

- eenvoudige implementatie van rubrics werkt niet: Bijvoorbeeld, het maken van en gewoon ter beschikking stellen van rubrics, gaat uit van een deskundigheid in gebruik ervan die mogelijk niet aanwezig is bij studenten en leraren. Leraren dienen hierin opgeleid te worden, rubrics zullen tevens nooit goede instructie en assessment gaan 'vervangen'/de nood daaraan opheffen.

Deze kritiek lijkt eerder logisch en zegt niet zozeer iets over rubrics, dan wel over het gebruik ervan. Eén studie (in het hoger onderwijs) toonde zelfs aan dat studenten zich het werken met de rubrics zelf eigen maakten zonder dat er een expliciete opleiding voor gegeven werd. Al lijkt het globaal genomen aangewezen om studenten wegwijs te maken in het gebruik van rubrics (evenals self- en peer-assessment) om de positieve effecten ervan te bekomen. Deze claim is dus onderbouwd.

- beperkingen van criteria en een analytische beoordeling: Criteria genereren een illusie van accuraatheid en validiteit. Tevens kunnen ze nooit 'volledig' zijn, men zal keuzes moeten maken in de criteria die opgenomen worden en achteraf kan blijken dat een niet opgenomen criterium net van belang was.

Deze kritiek komt hoofdzakelijk van één auteur of artikels die verwijzen naar deze auteur. Zijn (Sadler) onderbouwing is veelal anekdotisch of gebaseerd op persoonlijke observaties.
Eén onderzoek ging empirisch te werk en toonde aan dat een analytische beoordeling veelal niet strookt met de manier waarom leraren door de band genomen (holistisch) beoordelen. Hier bleek dat leraren een 'globale' beslissing nemen en pas achteraf de criteria gaan gebruiken om de reeds genomen beslissing te staven.

De auteurs halen onderzoek aan waaruit zou blijken dat rubrics zeker intra- beoordelaar betrouwbaarheid ten goede komen, voornamelijk indien ze in de beoordeling opgeleid worden. Maar in hetzelfde onderzoek bleek de consensus tussen beoordelaars niet hoger te liggen dan 70%, wat wordt aangenomen als een ondergrens voor interbeoordelaars betrouwbaarheid.
Wat betreft de 'neiging' voor leraren om holistisch te gaan beoordelen, bleek dat de consensus tussen leraren (46%) die dit deden een stuk lager was dan wanneer er analytisch beoordeeld werd (66%). De betrouwbaarheid was groter in beide groepen, maar de validiteit bleek gelijk.

De auteurs besluiten dat holistische en analytische beoordelingen niet dienen beschouwd te worden als tegengestelden, maar eerder mekaar aanvullend, omdat er mogelijks andere aspecten mee beoordeeld worden.

- contextafhankelijkheid: leraren kunnen criteria anders interpreteren, of dezelfde leraar kan criteria anders interpreteren in een andere context.

Voor deze kritiek vonden de auteurs geen evidentie en halen aan dat een belangrijk aspect hier is: Wat is het doel van de rubric? Voor grootschalige assessment zal de context-onafhankelijkheid een belangrijk criterium zijn voor de deugd van een rubric, terwijl voor specifieke lessen of het aanleren van bepaalde skills het net van belang is dat de rubric op maat gemaakt is.

- varia: veelal geopperd door één enkele auteur. Een argument tegen rubrics als onderdeel van het zijn tegen 'scores' (eerder een 'waarde' oordeel en kan niet ontkracht of bevestigd worden door empirische data), rubrics dienen eerder het doel 'controle' dan wel onderwijs of leren (idem) en het maken van rubrics is tijdrovend (klopt, maar men kan er achteraf tijd door besparen).

Discussie

De auteurs besluiten dat er vooral voor de claim van "Eenvoudige implementatie werkt niet" evidentie bestaat. Ook voor sommige claims bestaat er voor bepaalde aspecten daarvan bewijs: het halo-effect (claim betreffende "standaardisering") en een vergelijking tussen rubrics en comparatief beoordelen bij peer-assessment, waarbij de feedback bij gebruik van rubrics minder hogere orde criteria betrof (ook claim "standaardisering").

Voorts halen de auteurs de onmogelijkheid aan voor empirische onderbouwing als het om een waardeoordeel gaat en stellen ze dat bepaalde claims gaan generaliseren over de nadelige effecten van rubrics terwijl ze gebaseerd zijn op een specifieke context of situatie.
De auteurs stellen een meer pragmatische (minder dogmatische) kijk op het gebruik van rubrics voor, waarbij wordt nagegaan wanneer het zinvol is ze in te zetten en rubrics zo nodig te zien als een onderdeel van een beoordelingsproces om tot een algemene beoordeling te komen. De beperkingen van rubrics dienen in kaart gebracht en empirisch onderzocht te worden.

Tevens dient er een onderscheid gemaakt te worden tussen het formatief of summatief inzetten van rubrics. Bepaalde kritiek op het gebruik van rubrics, houdt weliswaar waar steek in de summatieve context, terwijl deze kritiek minder 'gewicht' heeft als het gaat om het formatief inzetten van rubrics.

De auteurs wijden nog een stuk aan socio-culturele verschillen en rubrics (zie pp. 41-42).

Tot slot stellen de auteurs dat het feit dat assessment het curriculum aanstuurt minder een eigenschap is van rubrics dan van assessment in zijn totaliteit. En is dat dan een probleem, als deze criteria nu eenmaal een weerspiegeling zijn van datgene wat dient geleerd te worden?
Een middenweg is aangewezen, volgens de auteurs, waarbij criteria studenten duidelijkheid geven, maar niet té zeer de studenten bij het handje houden en eventueel zouden beperken in hun zelfontplooiing en ontwikkeling van autonomie. Ze halen het scaffolding principe nogmaals aan van afnemende ondersteuning en het positieve effect van het samen met de studenten opstellen van de criteria.

Bronnen

Panadero, E., & Jonsson, A. (2020). A critical review of the arguments against the use of rubrics. Educational Research Review, 100329.

Reacties