| De sociaal-psycholoog Illustratie: M. van Oostendorp |
Blogs kunnen iets wat wetenschappelijke artikelen niet kunnen: de wanhoop van de onderzoeker laten zien. Neem het stuk dat de prominente Canadese sociaal psycholoog Michael Inzlicht onlangs publiceerde op zijn eigen website. “Ik voel dat de grond onder mijn voeten beweegt”, schreef hij daarop, “en ik weet niet meer wat werkelijk is en wat niet.” En: “De sociale psychologie verdient een nieuw begin. Maar waar moeten we beginnen? Waarvan ben ik het meest zeker en waar kan mijn scepsis eindigen?”
Waar lees je zulke kreten in de vakbladen? Nee, het gaat niet goed in de sociale psychologie. De ontmaskering van Diederik Stapel bleek slechts een van de voorboden van een veel diepere crisis. Kon je in zijn geval nog denken dat het ging om een enkeling wiens bizarre onderzoeksresultaten gewoon niet goed genoeg waren getoetst, nu blijkt een van de kernpunten van het vakgebied – een effect waarvan men meende dat het in allerlei condities en in allerlei laboratoria was getoetst – ineens onvindbaar.
Het gaat om het idee dat de mens beschikt over een eindige hoeveelheid wilskracht: als je het aan het ene besteedt, kun je het niet aanwenden voor iets anders.
Wie een uur naast een pot M&M;’s heeft gezeten, waarvan zij niet mocht snoepen, kan zich er daarna lastiger toe zetten een ingewikkelde som tot het einde af te maken; ego depletion heet dat in de vakliteratuur.
Fraude
Maar die ego depletion, die niet alleen voor Inzlicht een belangrijke basis van zijn carrière was, blijkt helemaal niet zo’n sterk effect te zijn. Of althans, er is een artikel waarin men een dergelijk effect op grote schaal heeft willen vaststellen door in 24 laboratoria over de hele wereld hetzelfde experiment te doen. Slechts 3 van die laboratoria gaven een significant effect – waarvan 1 ook nog eens in de verkeerde richting.
Zoiets roept natuurlijk allerlei vragen op: hoe kan het bijvoorbeeld dat al die andere experimenten wél een resultaat leken op te leveren? Was dat allemaal fraude of een collectieve waanvoorstelling of was er iets anders aan de hand. (Lees ook dit informatieve artikel op de website Slate.)
Zelfbeeld
Het eigenaardigste vind ik nog wel Inzlichts kijk op een uitweg:
Ik denk dat de oproepen voor grotere statistische kracht, een grotere transparantie rond nulresultaten en meer studies ter bevestiging ons kunnen redden.
Het valt mij op omdat mijn diagnose bijna tegenovergesteld zou zijn. Het probleem van de sociale psychologie lijkt mij juist het grenzeloze vertrouwen in de wetenschappelijkheid van experimenten en van statistiek zonder dat er wordt gewerkt aan een stevige theoretische basis. Het feit dat het ideetje van ego depletion in Slate een ‘Big Idea’ noemt, lijkt mij al tekenend: op mij maakt het niet de indruk van verpletterende diepzinnigheid en ook lijkt het geen onderdeel van een grootser, coherenter beeld van hoe de menselijke geest precies in elkaar zit. Hoe verhoudt die wilskracht zich bijvoorbeeld tot het zelfbeeld?
Bevestiging
Mijn gevoel bij een heleboel sociale psychologie is dat alle experimenten en statistieken altijd betrekkelijk risicoloos zijn geweest. Ieder experimenteel resultaat was per definitie interessant, mits zorgvuldig uitgevoerd en statistisch onderzocht, maar los of het ook iets bijdroeg aan een wat meer uitgewerkt beeld op de werkelijkheid. Die experimenten en die statistiek, die waren de werkelijkheid.
Nu komt men erachter dat die objectieve werkelijkheid van alleen maar data en nog meer data niet bestaat. Dat het zinnig is om af en toe ook eens diep na te denken, ook al staat er in geen enkel methodologisch handboek beschreven hoe je dat precies doet, en ook al zijn uitkomsten bij nadenksessies nooit gegarandeerd. Althans, nu zou men daar achter moeten komen. Maar zo denkt in ieder geval die Inzlicht er niet over. Voor hem moeten we alleen maar nóg meer data verzamelen (in ‘studies ter bevestiging’) en die nóg beter bestatisticeren.
Ik zou niet snel zeggen dat de oplossing het tegenovergestelde zou moeten zijn van meer statistische kracht, grotere transparantie rond nulresultaten, en replicatie. Dit zijn fundamentele aspecten van de kwantitatieve methode. Deze drie punten zorgen voor een systeem waarin het loont om oninteressante resultaten uit te voeren. Het zijn bovendien problemen die aan de fundamenten van de kwantitatieve methode raden. Als je experiment niet krachtig genoeg is, kun je vaak net zo goed (of zelfs beter) een muntje opgooien. Als je nulresultaten niet publiceert, is het volstrekt onduidelijk hoe betekenisvol je positieve resultaat is. En dat hangt natuurlijk samen met replicatie; een keer een positief resultaat of nul-resultaat is vrij betekenisloos, helemaal als experimenten niet krachtig genoeg zijn.
Als je methode niet op orde is, dan kun je geen interessante vragen stellen en beantwoorden.
Bovendien kun je niet beginnen met een model van hoe de menselijke geest in elkaar zit. Natuurlijk moet je meer doen dan domweg wat causale testjes, maar elk model van welk natuurlijk systeem dan ook is gebaseerd op observaties. Die observatie hoeft niet in de vorm van een experiment te zijn natuurlijk, maar net zo min kun je domweg wat uit je duim gaan zuigen om de menselijke geest te verklaren.
Natuurlijk is er niets mis met keurige methodologie. Maar het probleem van de sociale psychologie lijkt mij – toegegeven, als buitenstaander – dat ieder experiment maar wat in de lucht hangt, juist vanwege het geliijkstellen van degelijke theorievorming aan 'domweg wat uit je duim zuigen'. Men kan in zo'n situatie wel veel strengere eisen gaan stellen aan resultaten, maar het gevolg daarvan zal alleen zijn dat er nu minder studies worden gepubliceerd. Die zijn dan dus ook 'betrouwbaarder' en dat is dan winst, maar ik ben bang dat ze dan nog steeds in de lucht hangen, hoe streng je de methoden ook maakt.
Hoewel ik zeker niet altijd een hoge pet op heb van de experimenten die in de psychologie gedaan worden (in taalkunde trouwens evenmin, daar vind je ook genoeg van dergelijke experimenten), gaat het me wat ver om te zeggen dat alles maar wat in de lucht hangt. Al kun je ook twijfelen aan de meerwaarde van de modellen die er zijn.
Ik zou sowieso niet praten van hét probleem. Met dezelfde argumenten kun je namelijk zeggen dat publication bias hét probleem is: het stuurt aan tot gemakkelijke experimenten die niks opleveren. De nadruk op significantie ontmoedigt risico en complexe theorievorming. En daar kun je weer van zeggen dat onbegrip van de statistiek hét probleem is; want een significant effect bij de meeste experimenten betekent volstrekt niet wat veel mensen denken dat het doet.
Ook ik ben natuurlijk een buitenstaander. Maar ik denk dat het een serie van problemen is die volledig met elkaar in verbinding staan. Je kunt niet zeggen "ga zinnige experimenten doen" als er een enorm risico is dat het je geen paper oplevert, omdat je eerder nulresultaten krijgt en niemand die wil publiceren. Er is dan een cultuuromslag nodig.
Hier wordt de laatste jaren bijzonder veel over geschreven trouwens: David Trafimow, Leslie John, Christopher Ferguson, en heel wat andere schrijven interessante artikelen over alle problemen binnen de psychologie en mogelijke oplossingen.