Door Marc van Oostendorp
Het is ze weer gelukt: vanmiddag werd het centraal eindexamen Nederlands bij vwo-scholieren afgenomen en ik ben weer uit mijn humeur. Wat is dat toch een afschuwelijke wereld, die je binnentreedt als je het examenblad openslaat. Wat ben ik toch blij dat je die wereld buiten het eindexamen nooit tegenkomt; en wat betreur ik die arme meisjes en jongens die hun entree tot het volwassen bestaan moeten maken door zich te conformeren aan een manier van lezen die ik verwerp.
Het is een wereld waarin je ondubbelzinnig kunt aanwijzen wat de ‘belangrijkste gedachte’ van een tekst is, benevens de ‘voornaamste argumentatie’ die er wordt gebruikt – allebei de kwesties worden herhaaldelijk aangesneden. Een wereld waarin zelfs de ironie objectief vaststelbaar is, en een wereld waarin het je de kop kost als je een uitwerking een precisering noemt, of andersom. Het is een wereld waarin je kortom leest op een manier die niet alleen alle vreugde uit het lezen slaat, maar die ook volkomen onzinnig is.
Dit is het vierde eindexamen vwo op rij dat ik maakte en het bezwaar is en blijft hetzelfde: dat het tekstbegrip en argumentatie pretendeert te toetsen, maar dat doet in een gesloten vorm terwijl met name argumentatie als vak en als vaardigheid natuurlijk impliceert dat voor iedere stelling wel iets te zeggen valt. Vwo’ers, de toekomstige intellectuele elite in een samenleving waarin nuance en het kunnen zien van verschillende kanten in ieder debat dringend gewenst is, leren te doen alsof er op iedere vraag slechts een correct antwoord bestaat.
Ik geloof dat er dit jaar (weer) wat minder meerkeuzevragen zijn dan in andere jaren, maar dat verandert niets aan het gesloten karakter van de vragen, die je over het algemeen met slechts een paar woorden mag beantwoorden. Neem de volgende zin, uit een artikel van de historicus Chris van der Heijden:
2+2 is zonder twijfel 4, maar als je naar internet gaat en ‘2 plus 2 isn’t 4′ intikt, krijg je toch verrassend veel verwijzingen, niet alleen naar Orwells roman 1984, maar ook naar wiskundige wijsheden die althans ik maar zeer ten dele kan volgen.
Het vragenboek haalt de laatste woorden (vanaf ‘wiskundige wijsheden’) aan en vraagt dan:
Welke twee interpretaties van bovenstaand citaat zijn verdedigbaar? Geef antwoord in een of meer volledige zinnen en gebruik voor je antwoord niet meer dan 40 woorden.
Jawel, er zijn volgens de examenmakers precies twee interpretaties die ‘verdedigbaar’ zijn, zonder dat naar een expliciete verdediging gevraagd wordt. Natuurlijk begrijp ik intuïtief wel wat die interpretaties zijn (wiskunde is te moeilijk voor Chris van der Heijden of wat erover wiskunde wordt beweerd op het internet is onzin), maar waarom is pakweg de interpretatie dat de auteur benadrukt dat je op internet nieuwe dingen kunt leren en in contact kunt komen met onvermoede werelden niet ‘verdedigbaar’? Is er een objectieve maat van verdedigbaarheid van tekstinterpretaties?
Het probleem wordt ook heel duidelijk bij de volgende vraag (over een tekst van Rutger Bregman):
Alinea 14 zou gelezen kunnen worden als een zelfstandige redenering. Benoem de verschillende onderdelen van deze redenering. Neem daartoe de eerste en de derde kolom van onderstaand schema over en vul die verder in. Kies daarbij uit de volgende termen: conclusie, constatering, hypothese, oorzaak, precisering, stelling, tegenwerping, voorbeeld, voorwaarde, uitwerking.
| I. | II. | III. |
| 1 | Natuurlijk, er zijn best werknemers die van baan willen veranderen. | |
| 2 | Dan zijn ze op zoek naar ‘een nieuwe uitdaging’ of willen ze gewoon meer geld verdienen. | |
| 3 | Een nieuwe baan mag in de optiek van de werknemers echter niet ten koste gaan van hun baanzekerheid. | |
| 4 | ‘Het gaat niet om baanzekerheid, het gaat om werkzekerheid’, haasten werkgevers zich daarbij aan te tekenen. | < al gegeven> Tegenwerping |
| 5 | Werknemers zouden zich volgens hen niet zo druk moeten maken over hun contract, ze moeten er gewoon voor zorgen dat ze aantrekkelijk blijven voor werkgevers. | |
| 6 | Maar dat is een wereld van verschil: baanzekerheid is een recht, werkzekerheid een gunst. |
Een van de evidente problemen met deze passage is dat er op twee niveaus wordt geargumenteerd. De auteur heeft een bepaalde redenering, maar tussendoor komen de werkgevers ook nog iets vertellen. Het probleem dat dit veroorzaakt wordt al geïllustreerd door de ‘al gegeven’ analyse van zin 4. Deze zin noemt inderdaad een tegenwerping, namelijk vanuit het gezichtspunt van de werkgevers. Maar tegelijkertijd zou je kunnen zeggen dat het een constatering is, namelijk van de auteur over wat de werkgevers zeggen. Zoals de laatste zin niet alleen een conclusie is (het ‘juiste’ antwoord volgens het correctiemodel) maar ook een tegenwerping, tegen de werkgevers.
Het is het probleem van het eindexamen in een notendop: subtiele, genuanceerde teksten worden voorgelegd aan leerlingen die vervolgens moeten doen alsof die teksten eenduidig zijn en simpel. Dat is geen lezen, dat is trucjes toepassen.
Ik zou toch liever zien dat je niet meteen weer een d/t=fout maakt, zodra je de wereld van het eindexamen Nederlands binnentreedt.
Ik zou toch liever zien dat je inhoudelijk het stuk “becommentarieerdt” als je de wereld van een opiniërend blog binnentreedt.
Marc, eens! Ik zou om die reden voorstanders van dergelijke examens wel eens willen horen. Ik ken ze echter niet. Wat zou hun tegenargumentatie zijn?
Ik heb blijkbaar over die d/t-fout gelezen omdat ik me concentreerde op de gedachtegang van de auteur. En dit is precies wat onze leerlingen ook meemaakten: zo druk bezig met de tekst, de dubieuze vraagstelling en de inhoud van de antwoorden dat aandacht voor de vorm erbij inschoot. Dat ze daarom geen tijd overhadden om hun antwoorden op correct Nederlands na te kijken, vind ik zeer kwalijk.
En verder ben ik het helemaal eens met de inhoud van deze tekst!
tja… zoveel en zo vaag…. dat waren de reacties van de leerlingen. Een aantal van hen heeft de laatste tekst afgeraffeld en inderdaad geen tijd gehad om nog eens naar spelling en zinsbouw te kijken. Ben benieuwd waar we nu weer op uitkomen, woensdagavond bijeenkomst Levende Talen (heeft die nut als je op facebook collega’s tegenkomt die nu al zeggen dat ze LT niet gebruiken en het ook niet wenselijk achten dat andere leraren dat wel doen?)
Wordt het tijd voor een actie van de docenten Nederlands als groep? Hoe lang blijft het CITO in de monopoliesituatie? Kunnen we niet eens proefdraaien met andere vormen van examineren: de ‘ouwe’ leesvaardigheid gecombineerd met een schrijfopdracht? Mag een ander instituut ook eens wat proberen of moet het altijd maar via Cito? Mijn arme leerlingen, goedgemutst de zaal in, gemotiveerd om de doos met trucs open te trekken en dan toch teleurgesteld weer buiten komen. Bah..
Tja, wie zijn dat eigenlijk, die figuren met een Hogere Wijsheid in pacht, die de vragen en -wat nog veel erger is- de antwoorden bedenken bij zo’n examen? Zodra het examen verschenen is, buitelen de docenten over elkaar heen (tegenwoordig op een forum – vroeger zat je je alleen op je studeerkamer te verbijten en dacht je vaak dat het aan jou lag) met tal van vragen, alternatieve antwoorden, verbijstering en mooie discussies.
Wat het Cito niet wil begrijpen, is dat je zo’n examen grondig dient te evalueren met een tiental intelligente lezers. Het aantal enormiteiten dat ons de laatste jaren is geworden (ik heb het niet alleen over discutabele interpretaties, maar bijvoorbeeld ook over een domme rekenfout) is daarvan een onomstotelijk bewijs.
Heel erg is het als je als docent de moeite neemt om de examenlijn te mailen met je bezwaren, want dan blijkt hoe men daar denkt bij het Cito: als ambtenaren die erg bang zijn om af te wijken van hetgeen eenmaal is vastgesteld.
Hoe komen we hier ooit van af? De minister dient haar verantwoordelijkheid te nemen en op z’n minst andere partijen een kans te geven mee te dingen naar de ongetwijfeld lucratieve opdracht een goed examen te maken.
En het gaat echt niet over een dt-fout – als je daar over begint terwijl het om zoveel belangrijkere principes gaat, dan heb je er volstrekt niets van begrepen.
Eerlijk is eerlijk, de manier waarop in onze CITO-examens Franse taalvaardigheid of wiskundig vernuft wordt geëxamineerd, kent ook vreemde beperkingen en is evenmin een voorbeeld van de manier waarop leerlingen buiten school hun Franse of wiskundige bekwaamheden moeten aanwenden.
Toch hoor je daar nooit zoveel geklaag over als over het examen Nederlands. Noch onder leraren, noch bij het grote publiek. Hoe kan dat? Het kan verband houden met een opvallend kwaliteitsgebrek bij de examens Nederlands: de lage betrouwbaarheid.
‘Betrouwbaarheid’ is een toetstechnische kwaliteit die o.a. aangeeft hoeveel staat je kunt maken op een individuele uitslag. Had de ‘6’ niet ook een ‘5’ of een ‘7’ kunnen wezen, een dag eerder of later, of met een nét iets andere vraagformulering, of met de teksten in een andere volgorde? Ook wispelturigheid van & onderlinge verschillen tussen beoordelaars spelen mee.
Voor examendoeleinden hoort deze betrouwbaarheid boven de 0.80 te liggen – vraag er een testpsycholoog maar eens naar – en dat is bij de meeste examens inderdaad het geval. Bij het examen Nederlands echter ligt die waarde al zeker 17 jaar (sinds ik er op let) tussen de 0,36 en 0,58. Dat is niet best! Het betekent dat we al vele jaren leerlingen examineren met een toets die niet aan behoorlijke eisen voldoet t.a.v. betrouwbaarheid/homogeniteit. Het lukt het CITO maar niet die betrouwbaarheid te verhogen.
Waar komt dat door? Er zijn volgens mij twee factoren die de lage betrouwbaarheid in de hand werken:
– de brede opvatting van ‘leesvaardigheid’ die tot een examen wordt verwerkt;
– het dikwijls dubieuze karakter van ‘het goede antwoord’.
In de pakweg 40 vragen die een examen Nederlands telt, worden veel uiteenlopende lees-, begrijp- en soms formuleervaardigheden getest, die ook nog eens in diverse contexten worden aangescherpt. Van herhaald meten van een bepaalde lees- of denkvaardigheid is nauwelijks sprake. Terwijl dat nu juist bijdraagt aan de betrouwbaarheid. Van het ‘identificeren van drogreden X’ via het ‘reconstrueren van redenering Y’ tot het ‘interpreteren van zinnetje Z’. Elke leerling krijgt voor elke deelvaardigheid ‘one shot’. Die 40 items in het examen moeten zeker 30 verschillende deelvaardigheden representeren. Dat zou ik wel eens vergeleken willen zien met een examen Frans (waarvoor de betrouwbaarheid elk jaar boven de 0,80 ligt).
Het dubieuze karakter van ‘het goede antwoord’ is de tweede betrouwbaarheidbedreigende factor. Bevoegde & ervaren leraren Frans en wiskunde zijn het al snel eens over wat ‘het goede antwoord’ moet zijn, en halen altijd cijfers in de buurt van de 10 als ze hun eigen examens maken. Daar moet je eens om komen bij bevoegde & ervaren leraren Nederlands. Die mogen blij zijn met een 8, en met een globaal idee van consensus. Er is onder neerlandici traditioneel veel meningsverschil over wat ‘het goede antwoord’ op een bepaalde vraag moet zijn. Veel meer dan bij Frans of wiskunde.
Daar komt dan nog de beoordeelbaarheid bij. Ooit gaf ik 50 ervaren examendocenten Nederlands één examenwerkje (van een leerling uit mijn klas) ter beoordeling. De zuinigste gaf er 18 punten voor, de gulste 31 punten. De rest zat daar ergens tussen, maar varieerde flink. Er waren veel open vragen in dat examen, en dat was de pest voor de eensgezindheid in de beoordeling. Dat is niet fraai. Ik wist wel bij welke docent ik mijn kinderen in de klas zou willen hebben…
Hier beland ik bij een pijnlijk punt. Bij alle terechte kritiek op het huidige examen Nederlands, geloof ik er niet in dat een ander type examen ‘effe snel’ het hoofdprobleem wegneemt. Poly-interpretabiliteit (3 maal woordwaarde) van taal bestaat nu eenmaal, en dat kan een rechtvaardige en consistente examinering in de wielen blijven rijden.
Wie veel hooi op zijn vork neemt – zoals van examinandi willen weten of die ‘een kritische houding ten opzichte van de tekst’ kan aannemen of ’tussen de regels door kan lezen’ of ‘zich een beeld kan vormen van de onderliggende tekststructuur’ of ‘de deugdelijkheid van de argumentatie kan nagaan’ – loopt tegen de diversiteit in opvattingen aan onder leraren. En onder taalkundigen. En onder journalisten. Je mag daar ook best ‘eigenwijsheid’ in lezen, vrij letterlijk zelfs.
Toch zijn deze fraaie tekstvaardigheden op het eerste gezicht best valide, in de zin van representatief voor de vaardigheden die studenten in hun vervolgopleidingen moeten uitoefenen. Maar wil je die valide en dus betrouwbaar toetsen, dan zal dat niet lukken in één examenzitting van drie uur. Dan heb je meer examenzittingen nodig, plus een batterij goedgetrainde beoordelaars.
Het alternatief is de opvatting van wat ‘leesvaardigheid’ is, versmallen tot de meest eenduidig te toetsen deelvaardigheden. Liefst met gesloten vragen (waar ik trouwens helemaal niet tegen ben; de huidige open-vragenhype is niet echt aan mij besteed). Dan moeten we niet bang zijn de items die de meeste roet in het eten gooien qua betrouwbaarheid, uit de examens te bannen. Ik wed dat je dan de vraagtypen overhoudt waar de betrokken docenten het al snel over eens worden. En dan kun je in één zitting klaar wezen.
Want zo is de verhouding tussen validiteit en betrouwbaarheid van examens. Wil je meer validiteit, meer échte, interessante leesvaardigheid toetsen, dan gaat dat vaak ten koste van de betrouwbaarheid en zal onenigheid een grotere rol spelen. Wil je meer betrouwbaarheid en eensgezindheid, dan zal dat ten koste gaan van de validiteit, van de moeilijk te beoordelen interpretatievaardigheden.
Betrouwbaarheid en validiteit worden daarom ook wel eens ‘de vechtende tweeling’ genoemd: elk willen ze aan het langste eind trekken, maar ten koste van elkaar. Dat leerde ik uitgerekend van een CITO-medewerker die ooit belast was met de constructie van het eindexamen Nederlands HV. Maar ook hij kon dit principiële probleem niet zomaar oplossen.