Door Christine Brackmann
Het opstellen van een goed examen is een razend moeilijke klus. Dit jaar stuitte met name het vwo-examen op veel bezwaren. Maar liefst 98 procent van de examinatoren vond het examen te lang. Gemiddeld waardeerden de docenten het vwo-examen slechts met een 4,9. Een examen dat zoveel kritiek oproept, zou aanknopingspunten moeten bieden voor verbeteringen.
Onderstaande analyse snijdt enkele punten uit het vwo-examen aan en koppelt deze aan discussievragen over het examen leesvaardigheid. Aan de orde komen: de problematiek van meerpuntsvragen geïllustreerd aan de hand van vraag 20, de lengte van het examen en de gemiste vragen.
<Vanwege de uitvoerigheid van de analyse staat deze in een apart pdf-document>
Bedankt voor de constructieve bijdrage, Christine! Goed dat je nu de eerste bevindingen na afname (bijvoorbeeld uit de Examenbespreking van Levende Talen) verdiept door de toetsrapportage van het Cito eraan te koppelen. (De links naar de cijfers uit Quickscan van het Cito werkt bij mij overigens niet.)
Twee vragen: (1) Weet je of er in de analyse van het Cito gekeken is naar het aandeel van de (nieuwe) taalfoutenaftrek in de eindscores en of er vergelijkingen met andere jaren zijn gemaakt? (Ik kan het niet vinden maar kan iets gemist hebben in de 75 pagina’s met cijfertjes). (2) Wie zijn de genodigde betrokkenen en onderwijswoordvoerders die voor het rondetafelgesprek over het examen zijn uitgenodigd op 10 november a.s. in Den Haag?
Ik blijf er maar op hameren: als de samenstellers van het examen zo’n vraag 20 hadden voorgelegd aan een aantal intelligente mensen, dan hadden ze toch onmiddellijk te horen gekregen dat hij niet deugt? Nodeloos te zeggen dat dat voor tal van vragen in dit en vele voorgaande examens geldt. Je zult dit soort fouten vooral maken als je je als samenstellers in je eigen kringetje opsluit en er wellicht geen lekkere sfeer heerst waarin mensen oprecht kritisch naar elkaar kunnen zijn. Precies deze indruk krijgen veel collega’s als zij zich in verbinding stellen met de examenmakers om hun kritiek te uiten: de ongenaakbaarheid van de ivoren toren. Ik ben volstrekt geen marktwerkingadept, maar het monopolie van het CITO lijkt zich te wreken.
Iedere docent Nederlands heeft de ervaring dat aan het beantwoorden van tekstvragen veel eigenaardige aspecten kleven. Als je zelf je toetsen maakt en die aan collega’s voorlegt, word je geheid op onduidelijke vragen gewezen, terwijl je toch zo helder voor ogen had welke antwoorden daar bij hoorden. Tekstbegrip is uiterst complex, zeker als het gaat om het tekstniveau van de examens. De laatste jaren mengen zich ook vaker de auteurs van de oorspronkelijke teksten in de discussie en het is altijd weer amusant om te vernemen dat zij toch echt een andere bedoeling hadden met hun woorden dan die welke in het correctiemodel worden goed gerekend.
Als je dus vragen hebt bedacht die door je collega’s niet of verkeerd begrepen worden, dan moet je opnieuw beginnen en betere vragen bedenken of je antwoordmodel aanpassen, zodat ook andere valide interpretaties mogelijk zijn. Gezien het forse aantal blunders (gedeeltelijk achteraf hersteld met errata) in het verleden, moet zo’n controlemechanisme wel ontbreken bij de CEVO.
Ik had de indruk dat er met ingang van het examen 2016 een iets andere wind is gaan waaien bij de samenstellers van onze examens. Ook wel begrijpelijk natuurlijk als zelfs academici zich met forse kritiek in de discussie mengen. Maar zolang er geen grondige verandering plaatsvindt in de wijze van pretesten, zullen we te maken houden met idiote kwesties als die vraag 20.
Wat een goed en verhelderend stuk. Wat betreft de meerpuntsvragen: ik denk wel dat het logisch is dat het percentage dat drie punten haalt, lager ligt dan het percentage leerlingen dat een eenpuntsvraag goed heeft. Stel het streven is dat 60% een vraag goed heeft, dan wil je bij een driepuntsvraag dat bij een meerpuntsvraag elk bolletje 60% scoort. Zelfs bij een dergelijke ideale score kan het echter voorkomen dat NIEMAND drie punten scoort. Desalniettemin ben ik het ermee eens dat deze kwestie aandacht verdient, vooral in combinatie met een inhoudelijke analyse.
Het verhaal van de lengte is interessant, maar ik ben ervan overtuigd dat de examenmakers vorig jaar geschrokken zijn. Wat ik wel raar vind, is dat de opdracht om de lat hoger te leggen dus op verschillende manieren wordt ingevuld. Zowel door de lengte op te voeren, als door de N-term naar beneden te halen: 6,0 gemiddeld ipv 6,2 of 6,3.
Ten slotte de taalfoutenaftrek. Het is duidelijk dat daar vorig jaar door verschillende docenten nogal verschillend naar is gekeken. Dit geeft grote verschillen tussen scholen. Daarbij komt dat deze regeling, die niets uitstaande heeft met leesvaardigheid, de tijdnood nog eens extra opdrijft.
Een treffende illustratie van de haken en ogen aan het (nieuwe) examen Nederlands voor havo en vwo. Bedankt, Christine! Wat mij het meest verbaast is waarom vragen zoals vraag 20 niet eerder in het productieproces getackeld worden. Zulke foute vragen zitten namelijk al sinds mensenheugenis in de examens Nederlands. De examens worden gepretest, toch? Het is niet te rijmen dat kandidaten en examinatoren direct en massaal over vraag 20 struikelen, terwijl deze vraag ongeschonden uit de pretest schijnt gekomen te zijn. Ik ben dan ook benieuwd wat het antwoord van het CvTE hierop is.
Wat de lengte van het examen betreft: ik sloeg vraag 20 over toen ik de gevraagde citaten niet vond nadat ik de tekst tweemaal herlezen had en me realiseerde dat ik nog drie teksten en 16 vragen te gaan had. Na drie uren intensief lezen en herlezen van vijf teksten en 36 vragen had ik concentratiehoofdpijn, wat me bij de oude examens (twee lange teksten en maximaal 25 vragen) nooit overkomen is.
Ik denk dat het tijd wordt dat een onafhankelijke instantie het maakproces en de examens inhoudelijk onderzoekt. Dat Cito (de makers) alleen een statistische analyse uitvoert op de resultaten is aantoonbaar onvoldoende en onbetrouwbaar vanwege belangenverstrengeling.
Laatste zin moet zijn: ….zullen we idiote kwesties als die vraag 20 steeds opnieuw aantreffen – slechts één punt waard of niet, je kunt er uiteindelijk als leerling door zakken.