Het subsidieaanvraagsysteem van NWO kraakt in zijn voegen. Dit jaar zijn er bij de zogenoemde Vrije competitie meer dan 160 projectvoorstellen ingediend. Ik weet niet hoeveel daarvan precies gehonoreerd worden, maar een stuk of 8 is een goede gok. Ik weet wel dat de last op degenen die een en ander moeten beoordelen onevenredig zwaar is.

De mensen op kantoor bij NWO hadden al dagen extra nodig dan voorzien om alleen maar te zien of de aanvragen technisch goed waren – of alles juist was ingevuld, of degenen die de aanvraag indienden wel in aanmerking kwamen voor de subsidie, enzovoort. En nu moet de inhoudelijke beoordeling nog beginnen. Welke geleerde wil in die commissie zitten? Wie zit er te wachten op het werk van anonieme beoordelaar? Je besteedt uren tijd aan het nauwkeurig beoordelen van aanvragen.

Belang

De sterrenkundigen Michael Merrifield and Donald Saari hebben een slim systeem bedacht om dit probleem op te lossen: je laat het beoordelen over aan degenen die de aanvragen indienen.
Hoe meer aanvragen je indient, hoe meer werk je hebt: op die manier voorkom je dat mensen onnodig veel aanvragen indienen waarvan ze zelf ook wel weten dat ze weinig kans van slagen hebben. En het werk komt toch al neer bij degenen die belang hebben bij het juist verlopen van het proces.

Het werkt als volgt: iedereen die een subsidie aanvraagt, krijgt een stuk of vijf, zes aanvragen van anderen te beoordelen, die hij in een volgorde moet zetten volgens een verzameling van te voren aangeleverde criteria (bijvoorbeeld originaliteit, of degelijkheid): de beste eerst.

Vervolgens wordt er van al die lijstjes één lange lijst gemaakt. Ieder lijstje wordt omgezet in punten (nummer één krijgt 5 punten, nummer twee 4), en al die punten worden opgeteld. Die lijst is de ordening van de aanvragen.

Conformistisch

Nu zijn er een paar problemen. Degenen die meedoen aan dit systeem hebben er belang bij om heel goede voorstellen een laag punt te geven om zo de competitie onschadelijk te maken. Volgens Merrifield en Saari kan dit worden opgelost door uiteindelijk ieders lijstje te vergelijken met de uiteindelijke rangordening. Mensen die teveel afwijken van de consensus, krijgen strafpunten, en gaan dus met hun eigen voorstel omlaag in de lijst.

Werkt dit niet in de hand dat alleen conformistische voorstellen gehonoreerd worden en écht origineel onderzoek buiten de boot valt? Ja, zeggen Merrifield en Saari, maar dat is nu eenmaal het gevolg van ieder systeem van peer review. Bovendien kun je het voorkomen door in je instructies erop te wijzen dat men moet letten op innovativiteit. Juist doordat iedereen bang is om een verkeerd soort beoordeling te geven, zullen de beoordelaars die instructies goed lezen.

Rekenfout

Dit systeem kan er wel voor zorgen dat de ene oplettende beoordelaar die een fataal foutje ontdekt dat de anderen ontgaat, zijn eigen voorstel schaadt. Om dat te voorkomen, stellen de auteurs voor dat beoordelaars dit soort belangrijke achtergrondinformatie – dit onderzoek kopieert iets dat al in 1987 gedaan is, het verwijst niet naar een belangrijke auteur, er zit een rekenfout in – anoniem kan delen met de andere beoordelaars, zodat die hun oordeel ook kunnen bijstellen.

Hier is een video waarin een van de auteurs het systeem zelf uitlegt: