Als aanvulling op het stuk van Marita Mathijsen ‘Proeven met kunstmatig-intelligente machinelezers’ en de reactie daaronder van Marc van Oostendorp, stip ik graag twee aspecten aan die niet zozeer met de techniek als wel met de menselijke kant van de zaak te maken hebben. Het machinelezen heeft namelijk gevolgen voor de manier waarop een digitaliseringsproject is opgezet.

Vrijwilligers

Veel digitaliseringsprojecten zijn sterk afhankelijk van het werk van vrijwilligers. Een belangrijke vraag is dus wat hun ervaringen en wensen zijn: wat vinden zij prettig werken? Om dat te achterhalen heb ik onlangs een kleine enquête gehouden onder vrijwilligers die eerder meegewerkt hebben aan het overtikken van de zeventiende-eeuwse kranten (inmiddels hier beschikbaar) en die tegenwoordig werken aan het corrigeren van zeventiende-eeuwse kranten die door Transkribus zijn ‘gelezen’. Van die kranten moeten ze niet alleen de tekst maar ook de vormgeving controleren. Bovendien moeten ze metadata zoals koppen en onleesbare tekst voorzien van een tag. Vrijwilligers die aan beide projecten hebben meegewerkt, kunnen goed de twee verschillende werkwijzes – overtikken versus machinegelezen tekst corrigeren en verrijken – beoordelen.

Uit de enquête, die door 28 mensen is ingevuld, van wie de meeste ervaring hadden met beide werkwijzen, blijkt dat de helft van de vrijwilligers het werken met Transkribus efficiënter vindt dan het overtikken. Dertig procent geeft ook de voorkeur aan het werken met Transkribus, maar daarnaast geeft drieëntwintig procent van de vrijwilligers aan liever alles zelf te willen overtikken, zodat alle aandacht uitgaat naar de inhoud. Het grootste kritiekpunt op Transkribus is dat er telkens onverwacht en zonder toelichting door de technici grotere en kleinere veranderingen worden aangebracht in het programma.

Uit deze gegevens lijkt er een voorkeur voor Transkribus onder de vrijwilligers te bestaan, maar dat beeld is enigszins vertekend, want van de vrijwilligers die aan eerdere projecten hebben meegewerkt en die gevraagd zijn mee te werken met Transkribus, is maar liefst iets meer dan de helft gestopt of zelfs niet eens begonnen: een enkele maal vanwege persoonlijke omstandigheden, maar vaker omdat de werkwijze niet beviel of het werk als te ingewikkeld werd ervaren.

Projectleiders

Ook voor projectleiders/onderzoekers heeft het werk met een tool als Transkribus gevolgen. Voor een onderzoeker die zo geprivilegieerd is dat hij of zij technische ondersteuning krijgt vanuit een instituut – zoals ikzelf krijg van het Instituut voor de Nederlandse Taal – scheelt het werken met Transkribus in tijd: er is veel minder coördinatie nodig en de vrijwilligers produceren meer teksten in kortere tijd. Die technische ondersteuning is vrij veelomvattend: de machinelezende tool moet worden getraind en gevoed met teksten, de vrijwilligers moeten worden getraind om met de tool te werken, de porties moeten gecoördineerd worden uitgedeeld en er moet een globale nacontrole plaatsvinden van het vrijwilligerswerk.

Als de projectleider al die taken zelf moet uitvoeren, kost hem of haar dat veel meer tijd dan wanneer  de vrijwilligers ‘ouderwets’ de complete teksten overtikken en een apart groepje vrijwillige correctoren de teksten zorgvuldig nakijkt. Tijd die ten koste gaat van het onderzoek.

De balans

Zonder enige twijfel leidt de samenwerking tussen mens en machine tot tijdwinst, maar ook tot afhankelijkheid van techniek en technici (waardoor programma’s plotseling kunnen veranderen). Het gevaar bestaat dat het leukste deel van het vrijwilligerswerk – het bezig zijn met de inhoud – ondergesneeuwd raakt door aandacht voor vormgeving en tagging. Voor projectleiders hangt de te kiezen werkwijze sterk af van de technische ondersteuning die ze krijgen, en van de tijd die beschikbaar is om een project uit te voeren.

De keuze van de werkwijze hangt bovendien ook af van de tekstsoort. Die heeft namelijk grote invloed op de kwaliteit van het machinelezen. Het lezen van gedrukte krantenteksten gaat de machine vrij goed af, maar met handgeschreven teksten zoals de preken van François HaverSchmidt gaat ze vaak de mist in door moeilijk herkenbare invoegingen, vervangingen, weglatingen en doorstrepingen, die allemaal door de vrijwilligers of de projectleiding moeten worden gecorrigeerd, waardoor de tijdwinst weer verloren gaat.

We bevinden ons momenteel in een overgangsperiode: de tijd zal leren wat de optimale werkwijze is. De problemen van projectleiders zouden wel eens heel snel kunnen worden opgelost door een Large Language Model van het type Google Gemini die, zo laat Marc van Oostendorp zien, veel laagdrempeliger werkt dan een tool als Transkribus en geen extra training nodig heeft. Vermoedelijk is de eerstvolgende vraag die ik aan de vrijwilligers zal moeten stellen dus: hoe prettig of onprettig is het om te werken met het resultaat van een Large Language Model?