Door Peter van Kranenburg
Voordracht gehouden op het symposium “Luid zingend op een ijsschots de zomer tegemoet”, ter gelegenheid van de 60ste verjaardag van Nicoline van der Sijs.
Waar gaat het heen met de geesteswetenschappen? Dat is een zeer grote vraag waar op velerlei manieren antwoord op te geven is. Ik ga me niet wagen aan voorspellingen, maar ik richt me in deze bijdrage op een methodologisch struikelblok waar we volgens mij eerst maar eens voorbij moeten.
Ik trap een open deur in als ik zeg dat digitalisering van onderzoeksgegevens tot nieuwe en veelbelovende manieren van onderzoek leidt. Ik sta daar zelf middenin als computationeel musicoloog. Tegelijk ben ik mij ervan bewust dat mijn horizon beperkt is. Ik zie voornamelijk wat er op computationeel gebied gebeurt in het onderzoek naar muziek. Mijn academisch thuis wordt gevormd door de Musical Information Retrieval gemeenschap. Het kan dus zo zijn dat de waarnemingen die ik doe, de conclusies die ik trek en de problemen die ik zie door u niet herkend worden, maar ik vermoed dat de kwestie die ik aan de orde wil stellen ook buiten het muziekonderzoek speelt.
Dit gezegd hebbend…
In hoeverre is de toekomst te overzien? Daar is uiteraard een grens aan. Als we de toekomst zien als een weg die voor ons ligt, dan wordt – in het gunstigste geval – ons zicht beperkt door de horizon. Verder dan de horizon kunnen we immers niet kijken.
Maar, helaas is ons pad ook nog eens bezaaid met obstakels. Sommige zijn zo groot dat we er niet zomaar voorbij kunnen kijken. We kunnen slechts dromen en speculeren over wat er achter ligt. Er is één zo’n rotsblok in het bijzonder waar ik in deze bijdrage de aandacht op zou willen vestigen. Dat eerste rotsblok ligt al geruime tijd vlak voor onze neus en is voorlopig groot genoeg om het gehele blikveld te vullen.
Ik wil dat rotsblok inleiden met enkele dichtregels van Willem Barnard, waarop ik onlangs stuitte. Deze luiden als volgt:
De waarheid is een verborgen gebergte
De man in de auto
wil meteen weten
hoeveel voet hoog.
De man die op eigen voeten gaat
weet wel:
onbereikbaar.
Het gaat hier over de waarheid. Dat is een problematisch begrip, maar laten we er voor het gemak even vanuit gaan dat we als onderzoekers op zoek zijn naar waarheid. In ieder geval – zo lees ik dit nu even – is het de bedoeling om als onderzoeker iets zinvols te zeggen over het object van onderzoek: conclusies die min of meer gedeeld kunnen worden door anderen en die iets toevoegen aan een zeker geheel van expliciete en collectieve kennis.
Barnard zegt dat de waarheid een verborgen gebergte is. De vraag is: óf, en – zo ja – hóe, wij als onderzoekers dat gebergte kunnen bedwingen en in kaart kunnen brengen.
We zien in het vervolg van het gedichtje twee grondhoudingen.
De man in de auto wil weten: hoe hoog is dat gebergte? Hij kiest dus een kwantitatieve benadering. Daarin bespeuren we de gedachte: Als we het kunnen vatten in een getal – als we het kunnen meten – dan weten we het. Een getal is precies en objectief. Daar is geen speld tussen te krijgen.
Maar belangrijker dan het kiezen van een kwantitatieve benadering is nog: hij heeft een tool – zijn auto – en daarmee voelt hij zich oppermachtig: We zullen die berg wel even bedwingen. De auto doet tenslotte het werk. Het zitten in een auto geeft een macht over het landschap die je als voetganger niet hebt. Afstand wordt beheersbaar.
Dat deze macht over het landschap tegelijk een beperking inhoudt wordt duidelijk in het vervolg van het gedicht. Daarin gaat het over een man die te voet gaat. En die weet: onbereikbaar. In een auto verliest afstand zijn menselijke betekenis, maar de voetganger ervaart de afstand en de oneffenheden van het landschap aan den lijve.
Een tool geeft dus een zekere macht en maakt het landschap beheersbaar. Totdat… de tool het laat afweten.
En daarmee kom ik tot het rotsblok dat op onze weg naar de toekomst ligt. Een tool moet het doen. Een tool moet betrouwbaar en consistent zijn; zeker wanneer we in ons onderzoek conclusies baseren op resultaten van tools.
Maar hoe weten we of dat zo is? Hoe weten we of de tool doet wat we denken dat hij doet? En hoe weten dat de informatie die de tool ons verschaft goed is, ook als we niet direct zelf alarmerende fouten zien? En hoe werkt eventuele onzekerheid hierover door in onderzoeksresultaten?
De meest gebruikte methode om digitale tools te testen is als volgt. Er wordt met de hand een verzameling aangelegd van de juiste uitkomsten voor een aantal problemen. Vervolgens wordt nagegaan of de tool voor die set inderdaad de gewenste uitkomsten genereert.
Laat ik een voorbeeld uit mijn eigen werk nemen: een zoekmachine voor melodieën. We willen in een collectie van duizenden melodieën precies die melodieën vinden die verwant zijn met een query-melodie, een zoekvraag. Om deze zoekmachine te testen wordt dus voor een aantal query-melodieën vastgesteld wat de zoekmachine zou moeten vinden. Vervolgens kan dat vergeleken worden met de daadwerkelijke uitkomsten van de zoekmachine. De prestatie van de tool kan dan worden gekwantiseerd. Bijvoorbeeld een score van 80%, of 90%. En daarmee zouden we dan al behoorlijk tevreden zijn.
Een dergelijke set juiste uitkomsten wordt een ground-truth genoemd. Een grondwaarheid dus. Dat klinkt erg definitief, bijna fundamentalistisch. De term zette mij in ieder geval in eerste instantie op het verkeerde been. Wanneer we echter de herkomst van de term achterhalen wordt het beeld helderder. Het begrip ‘ground-truth’ blijkt ingevoerd te zijn voor evaluatie van automatische herkenning van objecten op satellietfoto’s. Als daarop een vlekje te zien is, zou het wel eens een auto kunnen zijn. Maar om dat zeker te weten moet je op de grond gaan kijken: de grondwaarheid dus. Het kan natuurlijk gebeuren dat een observatie op de grond nog steeds niet tot een eenduidige conclusie leidt. In dat geval heeft het geen zin om te proberen het voorwerp op een satellietfoto wel te herkennen.
Het is uitermate belangrijk om te beseffen dat deze ground-truth, of gouden standaard, fungeert als een hermetische scheiding tussen het geesteswetenschappelijk domein en de techniek. Het zorgt ervoor dat de motorkap dicht kan blijven. Het maakt niet uit hóe de tool werkt, als hij de grondwaarheid maar kan reproduceren. Daarmee wordt het bouwen van de tool een ingenieursklus. Het gaat er immers om dat de tool geldige uitkomst produceert. Hoe dat precies gebeurt is voor die uitkomst minder van betekenis. In die zin is zo’n ground-truth een praktisch communicatiemiddel in interdisciplinaire teams. De domein-expert zegt wat eruit zou moeten komen, en de informatiewetenschapper, of computerwetenschapper zorgt ervoor dat dat daadwerkelijk gebeurt. De communicatie en het begrip tussen die twee wordt dan tot een (werkbaar) minimum gereduceerd.
Een gevolg van deze werkwijze is dat alle interessante geesteswetenschappelijke discussies achter (of onder) die ground-truth verdwijnen, want juist daar waar de meningen verschillen is het interessant.
Hoe nu verder?
Een oplossing is om tools op een heuristische manier in geesteswetenschappelijk onderzoek te gebruiken. Je vindt er iets mee dat je op andere wijze ook wel had kunnen vinden, en je weet niet zeker of je alles hebt. Vergelijkbaar dus met een toevallige vondst in een archief dat een puzzelstukje toevoegt aan de biografie van een bepaalde historische persoon.
Er is echter een interessantere weg, die de geesteswetenschappen op termijn veel kan opleveren. Als we realiseren dat zich onder de motorkap van een tool een model bevindt, wordt het dus zaak om dat model zinvol te laten zijn vanuit geesteswetenschappelijk perspectief. Voor wetenschappelijke vooruitgang is modelleren dus belangrijker dan tool-bouwen. Dan hebben we de ground-truth niet meer nodig als keiharde referentie, maar dan kan deze object van onderzoek worden.
Ik pleit dus voor afschaffing van de tool en omarming van het model.
Hiervoor is wel een goede methodologie nodig. Bij mijn weten bestaat deze niet. Ik zou dus willen suggereren om dáár met elkaar aan te werken. Als je school wil maken in de Digital Humanities, ligt hier een grote kans. Wie dit goed oplost helpt ons echt een stap voorwaarts.
Ik kan niet in de toekomst kijken. Ik kan wel de hoop uitspreken dat we ons niet enkel zullen blindstaren op flitsende bolides met ronkende motoren die allerlei asfalt en infrastructuur nodig hebben, maar dat we ook te voet te zullen gaan om daarmee het contact met het landschap te behouden.
Laat een reactie achter