Het weblog bedreigt de sociologische wetenschap. Althans, momenteel is vooral een bepaald deel van de sociologie in gevaar: het sterk op statistiek gerichte deel. Maar dat is slechts toeval – het komt doordat bloggers nu eenmaal relatief vaak geïnteresseerd zijn in rekenen. Het zou weleens de voorbode kunnen zijn van een grotere verandering.
De Amerikaanse socioloog Andrew Lindner schreef er onlangs over op zijn weblog. Lindner had jarenlang gewerkt aan een artikel waarin de vraag waarom films met intelligente vrouwen relatief weinig geld opleveren met veel datageweld wordt beantwoord (kortweg: omdat er relatief weinig geïnvesteerd in zulke films).
Die jaren waren vooral heengegaan met het gebruikelijke proces van aanbieden aan redacties, allerlei commentaar krijgen over de vraag of er niet eigenlijk een andere theorie had moeten worden gebruikt, het artikel aanpassen, dan toch afgewezen worden, en doorgaan naar een ander tijdschrift waarin de reviewers weer andere obsessies bleken te hebben.
Knallen
Ondertussen kwam een blogger met een post waarin een zeer gelijksoortig onderzoek werd gepresenteerd. Het was wat rommeliger, de data waren van wat mindere kwaliteit, een en ander werd minder goed in de literatuur geïntegreerd. Maar de resultaten waren wel vrijwel dezelfde.
Het is het zoveelste voorbeeld van een probleem met het huidige publicatiemodel. Het voorval laat volgens mij niet zien dat het weblog het wetenschappelijke tijdschrift moet vervangen. Dat kan niet: er moet meer controle zijn voor een wetenschappelijke publicatie dan zoiets als het soort pagina’s dat je nu leest, waar iedereen maar alles op kan knallen.
Regelen
Maar het moet in ieder geval soms ook sneller kunnen.
Mijn idee is dat het grootste probleem zit in de manier waarop het peer review-systeem functioneert: veel reviewers hebben, kennelijk ook in de sociologie, dat ze mee moeten bepalen wat voor soort artikel de kopij moet zijn – welke theorieën er aan de orde moeten komen, wat het kader precies moet zijn. Dat lijkt me niet de taak van zo’n reviewer, die vooral moet toetsen of er geen feitelijke onzin wordt beweerd, of er geen rekenfouten zijn gemaakt, en zo voort, en die dus nauwelijks advies kan geven of een artikel wel of niet gepubliceerd moet worden.
In wat voor theoretisch kader een en ander moet worden behandeld en hoe het artikel moet worden gestructureerd, dat lijkt mij vooral iets tussen de redacteur en de schrijvers. Die zouden dat ook onderling ook beter moeten kunnen regelen dan wanneer er iedere keer drie anonymi tussendoor komen met weer een aantal nieuwe opmerkingen.
Barst
De mening van anonymi is natuurlijk de belangrijkste mening: hij is minder gefilterd door beleefdheid en door pogingen bij de ander in het gevlei te komen. Dat is heel waardevol, maar vooral als het gaat over de kern van het artikel: de waarheid. Ik heb me in het verleden weleens geroepen gevoeld om anoniem te oordelen of een artikel wel in een bepaald tijdschrift paste, of het inhoudelijk niet beter ergens anders kon worden geplaatst. Dat moet niet.
Want dat is het voordeel van het weblog: het barst uit elkaar van het commentaar van anonymi, maar je hoeft je er niets van aan te trekken.
Ik vraag me dan af, in hoeverre kijkt de (hoofd)redacteur al naar het kader waarbinnen het artikel geplaatst wordt? Ik heb het idee dat dat nu namelijk tot verantwoordelijkheid van de reviewer wordt gemaakt. Nou heb ik er weinig ervaring mee natuurlijk.
Maar daarbuiten is het natuurlijk wel een terecht punt. Alleen omdat een reviewer minder bekend is met een bepaald framework of er zelf weinig heil in ziet, is dat nog geen reden om een artikel af te wijzen. Wat zou het fijn zijn dat alle peer reviewers in dergelijke situaties het artikel terug naar de editor sturen met de mededeling dat ze zichzelf niet geschikt achten om het artikel te reviewen.
Maar dat maakt de situatie op een andere manier ongelijk tussen auteurs die in de mainstream werken en auteurs die dat niet doen. De laatsten worden dan alleen beoordeeld door mensen die in dezelfde marginale theorie werken en daarom (bijvoorbeeld) veel vriendelijker beoordeeld. Bovendien wil de redactie van een tijdschrift vaak wel dat een artikel voor de hele lezersschaar begrijpelijk is, ook degenen die niet in de marginale theorie ingevoerd zijn.
Volgens mij moet ook hier de redacteur een belangrijkere rol spelen. De recensenten moeten zo objectief mogelijk beoordelen. Wanneer de redacteur de indruk heeft dat een negatief oordeel is ingegeven door een scholenstrijd, moet hij of zij dat laten meewegen.