Het leek me interessant onderzoek, waarover NOS Nieuws vorige week berichtte: de Europese Commissie zou aantoonbaar ‘wollig en onbegrijpelijk’ schrijven. Wolliger en onbegrijpelijker zelfs dan de andere onderzochte groepen, waaronder nationale regeringen. Alleen politicologen zouden het nog slechter doen.

De NOS geeft zelf toe dat ze eigenlijk alleen de site Politico hebben geraadpleegd en niet het wetenschappelijke artikel, en het NOS-stukje is ook eigenlijk vooral een bewerking van het Politico-stuk al heeft die laatste een nog dramatischer kop: ‘Scientifically proven: The EU is incomprehensible’.

Of ze bij Politico dat artikel dan wel hebben gelezen, of alleen een persbericht, wordt niet duidelijk. In ieder geval hebben ze het geloof ik niet echt gewogen. Het artikel, uit het Journal of European Integration, staat online en is schokkend simplistisch. De auteur, Christian Rauh, nam alle persberichten van de Europese Commissie sinds 1985: zo’n 45.000 in getal.

Onvolledig beeld

Dat is een indrukwekkend aantal, maar wat hij met die persberichten gedaan heeft is heel wat minder indrukwekkend. Het zijn drie dingen. Hij heeft de computer een heel ouderwetse leesbaarheidstoets laten uitvoeren – een toets die zelfs in 1985 al geruime tijd bestond – de Flesch-Kincaid-toets. Ik geloof niet dat een taalkundige die toets in de afgelopen veertig jaar weleens serieus heeft gebruikt. Hij zit ook in Word verwerkt, en daar heeft iedereen hem denk ik uitgezet, want het soort primitieve bewerkingen dat die toets uitvoert (kijken hoe lang je zinnen en je woorden zijn) zegt echt weinig over werkelijke leesbaarheid (een uiterst leesbare tekst volgens dit algoritme: ‘U. U. U. U. U.’) In de tweede plaats heeft hij gekeken naar hoe gebruikelijk de woorden in de tekst waren. Daarvoor heeft hij de frequentie genomen van die woorden in Google Books, en ook weer niet de veel preciezere instrumenten die taalkundigen ervoor ontwikkeld hebben. En in de derde plaats heeft hij geteld hoe ‘actief’ de teksten waren door te tellen hoeveel werkwoorden er gemiddeld in stonden.

Het is een beetje alsof ik een wetenschappelijk artikel publiceer over de sterrenhemel, waarbij mijn voornaamste meetinstrument een oude huistelescoop uit de jaren zeventig is.

Tegenstanders

Daarbij geldt ook nog dat het onderzoek gaat over persberichten, een vrij lastig te plaatsen genre, bijvoorbeeld omdat het zich niet per se rechtstreeks richt op het grote publiek, maar op journalisten. Het is best mogelijk dat die journalisten wat gespecialiseerder zijn als het gaat om berichtgeving over de EU. Bovendien richt de Europese Commissie de laatste jaren zich juist wél op het grote publiek. Rauh geeft dat ook wel toe, maar zegt dat hij die sociale media buiten beschouwing heeft gelaten omdat ze historisch niet zo diep gaan. Dat mag wel zo zijn, maar door ze buiten beschouwing te laten geeft hij natuurlijk ook een onvolledig beeld: misschien worden de persberichten nu wel anders ingezet dan vroeger omdat er nu ook sociale media zijn.

Het onderzoek zegt dus heel weinig en in ieder geval ‘bewijst’ het niet ‘wetenschappelijk’ dat de EU ‘onbegrijpelijk’ is.

Daar komt nog iets bij. De artikelen van de NOS en Politico zijn dus wel enorm leesbaar en helemaal niet wollig. Maar ze zijn ook niet waar. Hoewel Rauh in zijn wetenschappelijke artikel wel wat genuanceerder is, suggereert hij wel degelijk dat hij een probleem naar boven heeft gehaald: de EU communiceert niet goed en daardoor krijgen de tegenstanders ruim baan. Het is dan wel een beetje wrang dat je onderzoek doet dat ontzettend leesbaar kan worden geïnterpreteerd als steun voor die tegenstanders.