Toen ik me ruim een jaar geleden hier op Neder-L afvroeg of studenten in het wetenschappelijk onderwijs wel echt gemiddeld veertig fouten per A4’tje maakten, en hbo’ers tachtig, wist ik niet wat ik me op de hals haalde.
Het werd een lange tocht om te proberen de teksten te achterhalen waar al die fouten dan in zouden staan; een tocht die zelfs langs een geschillencommissie van de Rijksuniversiteit Groningen leidde, maar die naar het zich nu laat aanzien nooit tot enige klaarheid zal komen, omdat de auteurs van het proefschrift weigeren inzage te geven in het materiaal en niemand enige macht heeft om hen daartoe alsnog aan te zetten
Voor wie uit eerste hand kennis wil nemen van de stijl van argumenteren die deze twee geleerden in het afgelopen jaar hebben gehanteerd, is er sinds gisteren gelukkig een blogpost die zij plaatsten op hun eigen weblog Basale schrijfvaardigheid. Iedereen die zelfs maar om de gegevens durft te vragen, wordt van alles en nog wat in de schoenen geschoven: onwetenschappelijkheid, intimidatie, corruptie, en nu ook nog discriminatie.
Precies
Het enige wat ik en mijn collega’s wilden, is inzage in de opstellen die gebruikt waren bij het onderzoek, en de aangestreepte fouten. In hun blogpost zeggen de onderzoekers dat er “maar één waterdichte methode in de wetenschap” is om onderzoeksresultaten te controleren, “en zeker bij mensen die je niet vertrouwt. Het onderzoek overdoen (repliceren). Voor dat doel hebben we onze methode, zoals dat hoort, precies beschreven.”
Hoewel dit argument hout snijdt – wij hebben overigens nooit beweerd dat we de onderzoekers niet vertrouwden, alleen dat we hun gegevens wilden inzien om te kunnen zien om wat voor fouten het nu precies ging–, is er één probleem: de methode ís in het proefschrift helemaal niet precies beschreven.
Reclamefolder
Althans, er is wel in enig detail ingegaan op de vraag hoe de fouten precies zijn geteld, maar we weten niet om wat voor teksten het precies ging; we weten niet wat de studenten dachten dat ze deden toen ze hun teksten schreven.
Dat komt doordat de opdracht die de studenten uitvoerden in 2007 mondeling is verstrekt (zoals de auteurs zelf toegaven bij de zitting van integriteitscommissie). Het maakt nogal verschil of een student een uur de tijd krijgt en van te voren gewaarschuwd wordt dat er heel precies op taalfouten wordt gelet, of dat hij achteloos wat op de achterkant van een oude reclamefolder knalt. Maar we zullen dat dus niet meer weten, want het verstrekken van de opdracht rekenden de onderzoekers niet tot de ‘methode’. En daarom kun je onderzoeken wat je wilt, het onderzoek van de promovendi repliceren kun je niet.
Geloofwaardig
Instructief voor het wetenschappelijk gehalte van de twee gepromoveerden vind ik het einde van hun betoog waarin ze uiteenzetten waarom ze aangifte van discriminatie willen doen. Een van de twee is travestiet:
Het meest harde argument is een kansberekening. De kans dat de universiteit na een promotie reageert met een veroordeling (van het gedrag van de gepromoveerde na de promotie) als ‘wetenschappelijk niet integer’ is vrijwel zeker kleiner dan een op duizend. De kans dat de promovendus openlijk travestiet is, is vrijwel zeker ook kleiner dan een op duizend. De kans dat beide zaken tegelijkertijd optreden is dan een op het miljoen. Die kans is te klein om nog geloofwaardig te zijn. Het lijkt dus wetenschappelijk gezien, volstrekt zeker dat mijn openlijke travestie een rol moet hebben gespeeld bij de reactie van de RUG.
Lucia
Een van de twee auteurs van dit blog heeft tot zijn pensioen statistiek gedoceerd in Groningen, maar het tweetal maakt hier een klassieke beginnersfout: dat iets onwaarschijnlijk is, betekent niet dat het niet toevallig kan gebeuren. Laten we voor het gemak aannemen dat de gegeven cijfers kloppen en de kans dat een promovendus én travestiet is én niet-integer handelen wordt verweten één op een miljoen is. Gegeven het feit dat er op de wereld zeker een paar miljoen gepromoveerden zijn, kun je dus redelijkerwijs verwachten dat het weleens gebeurt, zelfs zonder dat er enige kwade opzet in het spel is.
En zelfs als er minder gepromoveerden zijn: dingen waarop de kans één op het miljoen is, gebeuren aan de lopende band, vooral omdat eigenlijk iedere gebeurtenis die zich voordoet volgens de kansberekening heel onwaarschijnlijk is, zoals de kans op een hand van vier azen even groot is als een hand van schoppenboer, harten drie, ruiten zeven en ruiten acht. Iedere combinatie is onwaarschijnlijk, maar er moet toch wat gebeuren in het leven.
Kansberekening
Ironischerwijs verwijzen de auteurs elders in hun blog naar de zaak Lucia de Berk, waar precies dit misverstand speelde: een collega-statisticus toonde aan dat Lucia wel schuldig moest zijn, omdat de kans dat het toeval was dat zoveel kinderen in haar nabijheid overleden, onwaarschijnlijk klein was. Dit methodologische misverstand was in ieder geval in de formele procedure een minstens even belangrijke oorzaak voor haar onterechte veroordeling als een ‘lastercampagne’.
Een jaar geleden schreef ik dat er van alles in dit proefschrift problematisch was, maar dat we er in ieder geval van konden leren “dat studenten in de International Business Communication aan de Hanzehogeschool zo’n 80 ‘fouten’ maken in een tekst van een A4’tje.” Nu, een jaar later, denk ik dat zelfs die voorzichtige conclusie voorbarig was. Het is heel moeilijk om uit hun proefschrift wat voor gevolg dan ook te trekken.
Whoa zeg, dit is een gevalletje Pastuiven Verkwil van heb ik jou daar.
Voor de geïnteresseerde meelezers: de gedachtegang uit het tweede deel staat uitstekend uitgelegd in het boek "Het onwaarschijnlijkheidsprincipe" van statisticus David Hand.
Als er maar genoeg gebeurt (bijvoorbeeld groot aantal promoties wereldwijd), dan kan je inderdaad verwachten dat bepaalde gebeurtenissen, die individueel bekeken hoogst onwaarschijnlijk lijken, toch ergens optreden.
Ik heb wel kritiek op de uitspraak "omdat eigenlijk iedere gebeurtenis die zich voordoet volgens de kansberekening heel onwaarschijnlijk is". Dat is bij dit voorbeeld niet van toepassing!
Neem
T: onderzoeker is openlijk travestiet
N: universiteit geeft na promotie reactie 'wetenschappelijk niet integer'
Dan is de uitkomst 'niet T en niet N' veel waarschijnlijker dan de andere drie uitkomsten.
(Met de getallen uit het voorbeeld is de kans hierop namelijk 0,998001.)
Maar dit verandert niets aan de conclusie: de uitkomst 'T en N' is met 0,000001 niet onwaarschijnlijk genoeg om te verwachten dat het zich nooit zal voordoen.
Je hebt gelijk, dat heb ik niet zo nauwkeurig gezegd. Als je de gebeurtenissen maar algemeen genoeg formuleert, worden ze natuurlijk waarschijnlijker. Ik ben bijvoorbeeld geen travestiet, maar heb wel allerlei andere eigenschappen die mij uniek maken. Dat mij ooit iets speficieks overkomt is daarmee heel erg onwaarschijnlijk; en toch zal er mij ongetwijfeld af en toe iets overkomen.
Zelfs die conclusie over dat A4-tje (dat het in de media zo lekker doet) is te kort door de bocht. De meerderheid van de teksten was maar een half A4-tje (279 woorden gemiddeld met een standaarddeviatie van 104, en het maximum was 565). Het getal '80 per A4-tje' komt van een normalisatie tot het aantal fouten per 100 woorden. Het is maar de vraag of je dat getal mag extrapoleren tot een werkelijk A4-tje, omdat de auteurs zelf in hun eerste berekening een negatieve correlatie tussen het aantal woorden van de tekst en het aantal fouten vonden: een kortere tekst bevat in verhouding meer fouten (of: de beoordelaars zagen in een korte tekst naar verhouding meer fouten, wat me ook al niet onwaarschijnlijk lijkt want je moet toch wat als corrector). Doordat er blijkbaar geen instructie was voor het aantal woorden krijg je waarschijnlijk ook het effect dat de betere schrijvers langere teksten schrijven (of slechtere kortere).
De cijfers komen uit een steekproef, waarin zowel thuisgemaakte als tijdens het college geschreven teksten (evenredig) vertegenwoordigd waren. Ik zou verwachten dat daar wel verschil tussen zou zitten, maar dat is blijkbaar niet onderzocht.
Als je dat 80 per A4-tje trouwens gaat uitsplitsen naar de foutcategorieën krijg je: 14 keer 'verkeerd woord,' 12 keer 'niet-lopende zin,' 10 interpunctiefouten, 9 keer een overbodig woord of overbodige zin (!), en -dit vind ik de mooiste- meer dan 4 keer 'verkeerde alinea-indeling.' En dan heb je al de helft gehad. O ja: en de hbo-studenten maken gemiddeld maar anderhalve d/t-fout per A4-tje, waarom komt dat niet in de krant?
Los van de waarschijnlijkheid: Je kunt elke eigenschap van de promovendus die bij 1 op de duizend mensen voorkomt invullen voor 'travestiet-zijn,' en vervolgens stellen dat er dus een oorzakelijk verband is tussen het verwijt en die eigenschap.
Ja, precies. En de kans dat een promovendus een eigenschap heeft die bij 1 op de 1000 mensen voorkomt, is 1 op de 1.
Wat mij een cruciaal punt lijkt bij alle gecomplotteer dat de heren/dames ontwaren: waarom zou de RUG – als ze inderdaad zo anti-transgender zouden zijn – niet al bij voorbaat een stokje voor deze promotie hebben gestoken, in plaats van eventuele (onstuurbare) ophef af te wachten ná de promotieplechtigheid?
In het hele stuk komen ze niet verder dan klagen over een smaadcampagne. Zelden heb ik de slachtofferrol zo uitgebreid geclaimd zien worden. Vrijwel nergens is een fatsoenlijk, inhoudelijk argument te vinden. Bovendien wordt de claim van discriminatie en smaad alleen maar ondersteunt met vage indirecte argumenten, en wordt de universiteit continu beschuldigd van zaken waar geen enkel bewijs voor is: corruptie, omkopen, discriminatie, etc. Over smaad gesproken. Zelfs de Godwin wordt niet geschuwd, waarbij en passant de schrijvers zichzelf nog even op een lijn zetten met Einstein; hoe arrogant kun je zijn en hoe misplaatst is die arrogantie.
Hoe wetenschap werkt snappen ze duidelijk ook niks van. Elk onderzoek moet controleerbaar zijn. Of je travestiet, hetero, jood, of wat dan ook bent. Een goed wetenschapper zorgt dat er de mogelijkheid is voor andere wetenschappers om onderzoeksgegevens – wat een semantisch onzinargument is dat trouwens, data tegenover gegevens – te controleren.
Dat er dan zo'n bizar "statistisch argument" tegenaan gegooid wordt op het eind spreekt boekdelen. Ik heb hardop gelachen; twee mensen die door het leven gaan met een PhD, maar werkelijk niks snappen van zelfs de simpelste vorm van kansberekening. Een middelbare scholier kan hier nog doorheen prikken.
De RuG zou er goed aan doen de doctoraten in te trekken. Wat hier gebeurt is zeer onwetenschappelijk, onprofessioneel, en onethisch. Maar ja, dat mag alleen bij fraude, en fraude kun je niet meer aantonen als de onderzoekers hun data niet willen verstrekken.
Nee, als ik het goed begrijp kan een doctoraat in Nederland nóóit worden ingetrokken. Diederik Stapel is indertijd met enig theater zijn bul terug gaan brengen, maar dat betekent niet dat hij zijn titel heeft ingeleverd (of had kunnen inleveren): ook hij mag zich desgewenst wettelijk nog steeds doctor noemen.
Achteraf een kenmerk kiezen om het geheel onwaarschijnlijker te laten lijken kan inderdaad altijd. Hand beschrijft dit postselectie-effect in zijn boek als schietschijven die geschilderd worden nadat de pijlen al in de muur geschoten zijn, zodat ze allemaal in de roos zitten.
Bijzonder. Een doctoraat zou gewoon ingenomen moeten kunnen worden als blijkt dat de promovendus/-a zich niet aan de geaccepteerde wetten en normen heeft gehouden bij het onderzoek.
Wat een mooi beeld!
Jup, dat heet ook wel de Texas Sharpshooter Fallacy. Dikke aanraders in dezen: You Are Not So Smart en You Are Now Less Dumb van David McRaney.
Maar hoe zit het nu met het argument dat de teksten om privacyredenen niet openbaar gemaakt morgen worden? Op het schrijfvaardigheid-weblog staat dat het CvB van de RUG zelf toegeeft dat publicatie hierom niet is toegestaan, maar klopt deze bewering? Uit het artikel van de NRC maak ik iets anders op.
Het zou een geldig argument kunnen zijn, al kan ik me nauwelijks voorstellen dat de teksten niet te anonimiseren zijn. Hooguit indien de inhoud van zeer persoonlijke aard is. Heeft het CBP zich hierover uitgelaten?
Wij hebben gevraagd om de data. Het is logisch dat vE&vE; (de auteurs van het onderzoek) ons niet de originele opstellen willen geven; daarom wilden we dus kopieën. Maar nu beschouwen vE&vE; het maken van drie fotokopieën en deze opsturen naar ons als een 'publicatie', dat is het probleem. De CvB en wij gaan niet mee in deze redenering.
Over échte publicatie (=openbaarmaking, zodat iedereen erbij kan, bijvoorbeeld op internet) kun je weer andere dingen zeggen. Ook die hoeft vermoedelijk geen probleem te zijn. Het Meertens Instituut heeft bijvoorbeeld een verhalenbank online staan met duizenden verhalen die mensen in de loop van decennia hebben ingeleverd. Met voldoende anonimisering en een disclaimer dat mensen die dat willen de tekst eraf kunnen halen, valt dat te regelen.
Als de integriteitscommissie (overgenomen door het CvB) al iets gezegd heeft, ging het erover dat de onderzoekers inderdaad niet achteraf gedwongen konden worden zo'n publicatie te maken, maar dat was dus ook helemaal niet aan de orde. (Het lijkt mij persoonlijk beter als wel zoveel mogelijk data echt openbaar zijn, maar je kunt deze eis inderdaad niet achteraf nog opleggen.)
Ik weet oprecht niet of het strategie is van vE&vE;, maar in ieder geval werpen ze bij iedere stap in dit proces een enorm terminologisch rookgordijn op door ieder begrip anders te definiëren (dus in dit geval: het opsturen van fotokopieën als een publicatie aan te merken).
(Ik weet niet wat u bedoelt met het CPB; het CvB?)
Ik vind dat dat toch wel neerkomt op "de rechten en plichten jegens wetenschap en samenleving" dus ik vind zelfs dat de doctorstitel moet kunnen worden afgenomen als iemand in een later stadium wetenschappelijk wangedrag vertoont. Voor zover ik weet is het inderdaad nog nooit gebeurd.
Ik neem aan dat het College Bescherming Persoonsgegevens wordt bedoeld (?)
(dat is de club die erover gaat of informatie privacygevoelig is of niet.)
Nog wat informatie van een direct betrokkene.
Intussen ruim een jaar geleden heb ik (Carel Jansen, RUG) samen met Marc van Oostendorp (UL) en Peter Arno Coppen (RUN) aan Mik van Es en Anouk van Eerden gevraagd hun onderzoeksmateriaal aan ons ter beschikking te stellen. De uitkomsten van de foutenanalyses in het proefschrift vonden we zo onwaarschijnlijk dat we zelf ook eens goed wilden kunnen kijken naar de opdrachten die Van Es en Van Eerden aan de studenten hadden gegeven, naar de alles bij elkaar 30 tekstjes en naar de analyses daarvan door de vier beoordelaars die Van Es en Van Eerden hadden ingezet.
Wat is er in het afgelopen jaar zoal in deze zaak gebeurd? Ik geef, in aanvulling op wat Marc al schreef, hieronder een samenvatting.
Bij hun promotie begin mei 2014 beloofden Mik van Es en Anouk van Eerden plechtig – zoals dat tegenwoordig moet aan de RUG – zich te houden aan de Nederlandse code voor de wetenschapsbeoefening. Daarin staat onder meer de verplichting dat een onderzoeker, als diens collega's vragen om zijn/haar onderzoeksmateriaal, dat materiaal ter beschikking moet stellen tenzij dat volgens de wet niet mag (artikel 3.3). Dat was in dit geval niet aan de orde: van mogelijke privacyschending, waar Van Es steeds over spreekt, was en is geen sprake. We hebben van meet af aan duidelijk gemaakt dat we het onderzoeksmateriaal in geanonimiseerde vorm wilden hebben.
Toen Van Es en Van Eerden bleven weigeren om aan ons verzoek te voldoen en ook zeer dringende oproepen van de decaan van de Letterenfaculteit waar Mik van Es tot zijn afscheid eind juni 2014 werkte geen enkel effect hadden, hebben wij de zaak aanhangig gemaakt bij de Groningse Commissie voor de Wetenschappelijke Integriteit (CWI) . Die commissie gaf ons gelijk: Van Es en Van Eerden moesten ons (kopieën van) de teksten en de opdrachten ter beschikking stellen. Als er ook schriftelijke versies van de opdrachten waren geweest, hadden we die ook moeten krijgen, maar zoals de CWI constateerde en Marc al zei: tijdens de zitting van de CWI bleek dat die opdrachten niet, of in elk geval niet meer bestonden. Van Es en Van Eerden hadden zich bij deze voor hen in alle opzichten negatieve uitkomst nog kunnen wenden tot het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI), met het verzoek het Groningse CvB te adviseren hen alsnog in het gelijk te stellen. Van die optie zagen ze echter af.
(vervolg hieronder)
(vervolg van hierboven)
Vervolgens nam het CvB het advies van de CWI over en kregen de twee gepromoveerden van het CvB het zeer dringende verzoek ons alsnog de teksten en de beoordelingen te geven waar we om gevraagd hadden. Dat verzoek legden ze naast zich neer. Omdat het CvB ons drieën als klagers een afschrift van de brief aan Van Es en Van Eerden had gestuurd, was er volgens Van Es en Van Eerden sprake van smaadschrift, zo lieten ze mij weten in een mail met in de cc onder meer het CvB, en dreigden ze het CvB voor de rechter te dagen, erop wijzend dat er op smaadschrift een gevangenisstraf staat van maximaal 24 maanden. Enige tijd later beschuldigde Van Es het CvB nog van discriminatie van transgenders en sprak hij het voornemen uit het CvB aan te geven bij een meldpunt discriminatie (zie zijn weblog)
Het CvB had intussen geconstateerd dat het geen mogelijkheden had om verdere stappen te ondernemen (een promotie terugdraaien kan wettelijk niet, en Van Es was met vervroegd pensioen, terwijl Van Eerden steeds een andere werkgever had, de Hanzehogeschool namelijk, die zich geheel van deze zaak distantieert).
Vervolgens schreef Frank van Kolfschooten in de NRC een stuk met een korte, zakelijke weergave van de gebeurtenissen. Daarop reageerde Van Es op zijn blog zoals Marc dat hier al liet zien.
Dat wij of andere collega's nog steeds het onderzoeksmateriaal niet ter beschikking hebben gekregen, zal gezien het bovenstaande niemand verrassen denken ik. Hoe spijtig het ook is, misschien is het enige wat we aan dit alles overhouden het merkwaardige betoog van Van Es, waar onze studenten in een cursus argumentatieanalyse nog eens plezier aan kunnen beleven.