Door Marc van Oostendorp
Ranglijsten van wetenschappelijke tijdschriften zijn zélf onwetenschappelijk en moeten worden afgeschaft. Dat beweert een groep Duitse en Britse onderzoekers in het wetenschappelijk tijdschrift Frontiers in Human Neuroscience.
In het artikelen sommen ze allerlei problemen op die er bestaan met het bestaande systeem. Zo is helemaal niet duidelijk dat artikelen in de tijdschriften die bovenaan in de lijst staan inderdaad beter zijn. Integendeel, er zijn aanwijzingen dat zulke artikelen vaker moeten worden teruggetrokken en bovendien lijken zij bij uitstek onderhevig aan het effect dat latere replicaties een kleiner effect vinden dan gerapporteerd. Allebei die zaken kunnen mogelijk overigens juist deels verklaard worden doordat iedereen graag in deze tijdschriften wil publiceren: de kans op overrapportage en mogelijk zelfs fraude is daardoor groter. (Er komt overigens wel bij dat dit soort artikelen om diezelfde reden ook meer in de aandacht staan en problemen dus mogelijk sneller worden ontdekt. Ik heb het gevoel dat de auteurs dit methodologische probleem met hun aanname wat onderschatten.)
Kraakt
Bovendien zijn de ranglijsten zelf volgens de auteurs vaak op een krakkemikkige manier samengesteld, waarbij dubieuze factoren worden gebruikt zoals de impact factor. Die bereken je als redactie, grofweg, door het aantal keren dat artikelen uit je blad worden geciteerd te delen door het aantal artikelen dat je publiceert. Maar in die formules zit heel veel vrijheid: welke artikelen reken je bijvoorbeeld nu wel of niet mee (het is redelijk dat een redactioneel waarin het vertrek van een redactieassistent wordt aangekondigd niet meetelt, maar redacties blijken heel creatief met dit soort zaken om te kunnen gaan).
Uiteindelijk zorgt het systeem voor grote problemen. Doordat auteurs geneigd zijn een artikel eerst naar een tijdschrift bovenaan de rangorde op te sturen en pas naar een ‘lager’ tijdschrift als het hoger is aangewezen, wordt de de verspreiding van wetenschappelijke kennis onnodig vertraagd. Bovendien moet bij ieder blad een batterij aan redacteuren en beoordelaars aan de slag – dat zijn allemaal onderzoekers die daar tijd voor moeten vrijmaken en dat systeem kraakt in zijn voegen.
Goed artikel
Weg dus met die rangordening! Aan het eind van hun artikel maken de onderzoekers echter een veel radicalere draai. Niet alleen het systeem van tijdschriften ordenen moet verdwijnen, de tijdschriften zelf hebben hun langste tijd gehad. De reden is (vermoedelijk, ze maken dit niet echt expliciet) dat je zelfs als je ‘officiële’ systemen van ordening afschaft, nog altijd informele systemen houdt. Science en Nature blijven ook bovenaan staan als geen ambtenaar meer probeert de impact factors bij te houden.
Het alternatief zou zijn dat de universiteiten en onderzoeksinstellingen zelf artikelen, na een zorgvuldige beoordelingsprocedure gratis online zetten in grote archieven. Een artikel kan het dan niet hebben van het tijdschrift, je kunt het alleen nog goed doen door een goed artikel te schrijven.
Prestige
Op Twitter zag ik al een onderzoeker die aankondigde voortaan in zijn literatuurlijst alleen nog de titels van zijn artikelen op te nemen, en geanonimiseerde links:
Finally removed all trace of journal titles from the publication list on my website. Not needed, and leads to all sorts of bad practices. Small steps.. https://t.co/xNlh038S2t pic.twitter.com/aDwIzX3olp
— Jon Tennant (@Protohedgehog) 13 maart 2019
Anderen merkten op dat er dan nog steeds problemen zijn, omdat de naam van de auteur vast ook dergelijke effecten heeft (beroemde auteurs worden vaker gelezen, maar het is vast niet zo zeker dat zij ook beter werk leveren). Je zou kunnen zeggen dat zoiets ook geldt voor de onderzoeksinstituten die de archieven moeten beheren: een artikel via de site van Harvard wordt vast vaker gelezen dan één via de site van de Radboud Universiteit, helemaal los van de feitelijke kwaliteit.
Omdat er zoveel wetenschappelijk onderzoek is, is het onmogelijk alles te lezen, en vrijwel het enige filter dat dan een beetje werkt is prestige. Dat is volkomen onterecht en leidt tot nare effecten. Maar als we deze crisis in de wetenschap willen oplossen, zouden we daar moeten beginnen.
Hier is wat ik vermoed dat er gebeurt als we tijdschriften afschaffen: er is te veel zoals je al zegt om te lezen, dus we gaan op zoek naar een manier om te selecteren. Prestige van auteur en instituut is zo mogelijk erger dan tijdschrift, dus dat moet veel beter. Een groep onderzoekers besluit een soort Consumentenbond op te richten die de kwaliteit van artikelen beoordeelt. Ze vragen collega’s om artikelen te lezen en feedback en een oordeel te geven over de kwaliteit.
Maar een bond is natuurlijk te weinig en dus komen er een hoop bij voor alle disciplines. Dat kost een hoop tijd, waar onderzoekers niet voor betaald worden. Dus moet er verdiend worden en gaan onderzoekers abonnementen afsluiten op die diensten.
Het enige positieve is dat het geld dan wellicht nog daadwerkelijk naar de onderzoekers gaat die het werk doen.
Mijn gedachte was in eerste instantie ook: het prestige van instituten en auteurs is minstens even erg als dat van tijdschriften. Maar ik denk uiteindelijk dat dit toch anders zit. Als auteur ga je voor je rpestige minder makkelijk stunten dan als tijdschrift: als je een artikel schrijft dat moet worden teruggetrokken is je reputatie ernstig beschadigd, maar gek genoeg lijkt dit bij tijdschriften veel minder het geval. En instituten hebben een soortgelijke rem, in ieder geval als we ervan uitgaan dat ze voldoende auteurs in vaste dienst nemen.
Het scenario dat je daarna schetst is, hoop ik, te zwart. Ik denk dat die consumentenbond makkelijk kan worden vervangen door een open acces-alternatief. Ik zie niet zo goed hoe dat alles de onderzoekers meer tijd zou moeten kosten dan het huidige systeem doet.
Het hoeft niet, maar de tijd die nu in reviews enzo gaat wordt niet adequaat of gewoon niet meegenomen in beoordelingen. Er moet een vorm van compensatie tegenover staan in mijn ogen. Dat kan financieel zijn, of gewoon onderdeel van takenpakket wat meegewogen kan worden.
Overigens, er zijn genoeg auteurs die nu al de grens over gaan en wiens reputatie beschadigd is. Maar vervolgens houden ze er toch een carrière aan over. Zie Diederik Stapel. Zou dat anders zijn?
Bedenk wel, je begint niet in een vacuüm. Om aan onderzoeker aan een klein instituut gelezen te worden moet je dan een veel hogere horde over dan nu, want iedereen kijkt naar de Harvards en Oxfords en de profs die daar werken (niet de postdocs en PhDs die het leeuwendeel van het werk doen). Dus ik denk dat er nog meer druk komt om spectaculaire resultaten te krijgen, en fraude dus nog meer in de hand gespeeld wordt.
Maar het blijft speculeren.