Door Marc van Oostendorp
Stel je voor dat Diederik Stapel geen fraudeur was geweest. Dat hij wel keurig al die formulieren door honderden scholieren had laten beantwoorden en al die antwoorden had laten intikken in tabellen en die dan vervolgens nauwkeurig statistisch had laten uitrekenen. Daar had je toch ook niet aan moeten denken. Dan hadden we nu nog steeds met zijn soort onderzoek opgescheept gezeten.
Het rapport dat over zijn zaak verschenen is, zet in pijnlijk detail uiteen wat er allemaal mis ging in Stapels geval en het bekritiseert ook tamelijk expliciet het hele vakgebied waarin Stapel werkte, dat van de sociale psychologie. Maar ook overal elders zou er ineens sprake zijn van ‘slodderwetenschap’.
Het rapport is daarbij een beetje vreemd van opbouw: het is erg duidelijk dat er verschillende auteurs aan gewerkt hebben.
Stukken waarin op het langdradige uiteen wordt gezet hoe de commissies te werk gingen, worden afgewisseld met welhaast emotionele uitbarstingen, waarin iemand bijvoorbeeld verontwaardigd ingaat op het feit dat Stapel in zijn Groningse oratie de psychologie de ‘koningin van de wetenschap’ noemde (dat lijkt me niet juist, maar het is ook geen misdaad om het te zeggen) en stukken waarin statistici dolenthousiast uit de doeken doen hoe hoe je met statistiek echte data kunt onderscheiden van verzonnen data, zonder dat overigens ergens wordt uitgelegd of de methode die ze gebruiken weleens echt empirisch onderzocht is.
De statistiek is toch al bezig de winnaar te worden van de affaire-Stapel. Echte wetenschap is: statistiek doen, dat lijkt af en toe een belangrijke boodschap van de Commissie Levelt. Er wordt met afschuw melding gemaakt van bijeenkomsten waarin een coauteur van Stapel werd geconfronteerd met een statistische blunder en daar zijn schouders over ophaalde.
Slechts heel kort, ergens in een bijzin helemaal aan het einde van het rapport, wordt een kwestie genoemd waar het volgens mij allemaal om zou moeten draaien: die ‘wonderboy’ Stapel gold weliswaar als een grote ster, maar hij droeg eigenlijk niets bij aan de theorievorming. Er wordt ook niet zoveel door collega’s naar zijn werk verwezen. Al die tientallen frauduleze artikelen van hem kunnen makkelijk worden weggestreept, want ze hebben eigenlijk toch niks fundamenteels te melden over de menselijke geest. Als het allemaal waar en betrouwbaar was geweest, waren het nog steeds op de keper beschouwd niet meer dan leuke, grappige weetjes die de wonderboy jaar in jaar uit uit de hoge hoed toverde.
Dat je een grote onderzoeker kan worden – toppublicaties, decaan, speciale vergoedingen van je universiteit – met alleen maar leuke weetjes, dat is pas echt zorgelijk. Ik denk bovendien dat het de fraude gemakkelijker heeft gemaakt.
Wanneer men in een vak werkt aan een serieuze theorie, betekent dit dat men in gesprek is met elkaar. Die theorie brengt al die weetjes samen in een groter bouwwerk, zodat je makkelijker kunt zien wat wel of niet betekenisvol is. Er zijn voor- en tegenstanders van een theorie die elkaar proberen te overtuigen van hun eigen gezichtspunt door nieuwe gegevens naar boven te halen. Maar ze zullen ook allebei hun uiterste best doen om de ‘bewijzen’ van de andere kant omver te werpen. Er zal daarom kritisch naar die gegevens gekeken worden.
In een vak waar de voornaamste ambitie lijkt om grappige correlaties naar boven te halen, maakt het nauwelijks uit wat voor statistieken je collega’s allemaal produceren. Dat controleren kost allemaal maar nodeloze tijd, die je ook kunt besteden aan je eigen sexy correlaties.
Je ziet het in allerlei andere vakken ook gebeuren. Het wordt steeds populairder om nieuwe gegevens, enorme stapels van almaar nieuwe gegevens, te doorzoeken. Je bent een goede onderzoeker als je met steeds meer verrassende analyses van data komt. Proberen die gegevens in een groter verhaal, een theoretisch kader, in te bouwen wordt minder populair. Het levert minder publicatiemogelijkheden op, je kunt het voor je carrière beter niet doen.
Ik geloof niet dat er op dit moment veel Stapels in de taalkunde rondlopen, al is het maar omdat er geen mensen zijn die zo waanzinnig veel publiceren. Maar als we niet uitkijken, wordt de verleiding voor jonge onderzoekers wel steeds groter.
De Noorse Diederik Ståpel heeft deze week nog van zich laten horen. Volgens hem is het Engels een Scandinavische taal, want het moderne Engels heeft Noors aandoende grammaticale constructies en aangezien het overnemen van grammaticale structuren, anders dan het overnemen van leenwoorden, hoogst ongebruikelijk is ("highly irregular"), moet het Engels wel een variant van het Noors zijn. Echt zo. Lees hier meer: http://www.newsinenglish.no/2012/11/27/english-is-a-scandinavian-language/
En hier: http://www.sciencedaily.com/releases/2012/11/121127094111.htm Daar staat ook de achterliggende redenatie uitgelegd.
Dank je wel, ik kende dit niet. Toch is het volgens mij uiteindelijk een bewijs dat het in de taalkunde nog wel meevalt, met het Stapel-effect. Faarlunds claim is grandioos, en laten we aannemen, incorrect. Maar hij wordt nu juist gemaakt binnen een grootscheeps theoretisch kader, dat van de reconstructie van het Germaans. Andere geleerden kunnen het er niet mee eens zijn. Voor de bevindingen van Stapel gold dat nu juist niet. Het waren losse feiten zonder verband met een grootser kader.
Maar dat laatste is natuurlijk niet waar. Ja, sommige onderzoeken gingen over losse feitjes, snelle of actuele onderwerpen etcetera. Andere onderzoeken, zoals bijvoorbeeld het deze week door het slijk gehaalde onderzoek over hoe Sinterklaas als prime bij kleuters zorgde voor meer 'eerlijk delen' was wel degelijk gebaseerd in theorie, en wel de normtheorie waar Siegwart Lindenberg zijn carriere aan heeft besteed. Waarheidsvinding, het is niet makkelijk…
Ik moet toegeven dat ik bijzonder weinig weet over sociaalpsychologische theorievorming. In het rapport van Levelt wordt op gezag van Stapels collega's gezegd dat Stapel weinig aan de theorievorming had bijgedragen. Klopt dit dan niet? Of was dat Sinterklaasonderxoek inderdaad een uitzondering?
In ieder geval genoeg om in elk sociaal psychologisch tekstboek te verschijnen. Hij was inderdaad geen theoriebouwer. Dat wil echter niet zeggen dat hij zijn 'onderzoek' niet in theorie grondde.
Daarnaast is het interessant te zien hoe weinig nieuwe theorievorming opduikt in dit vakgebied, al decennia lang. Effecten en modellen, dat is de hoofdmoot.
Heel goed om 'die ambitie om grappige correlaties naar boven te halen' eens aan de kaak te stellen. Zoals ik van mijn 'oude hoogleraar fonetiek, Hendrik Mol leerde: zonder hypothese op basis van een theorie, zijn die volkomen waardeloos, wat hij illustreerde met de correlatie dat in een bepaald jaar dat er in Hamburg meer baby's werden geboren er ook meer ooievaars overgevlogen waren. Zie vooral ook Bas Heijne in NRC Handelsblad van vandaag (1december)
Vijftien jaar geleden heeft het Meertens Instituut een keer meegedaan met een grootschalige enquête van het CBS. Wanneer je zoveel data hebt, wordt het makkelijker om willekeurige correlaties te vinden die statistisch significant zijn. Voor de grap hebben de onderzoekers dat toen gedaan. De resultaten waren een beetje Stapel-achtig (ik geloof dat dialectsprekers minder kans hadden dat hun fiets gestolen werd). Het verschil is alleen dat die correlaties, hoewel gebaseerd op écht onderzoek, toch maar niet gepubliceerd zijn.