Ik schrijf wel veel over de grotetaalmodellen, maar ik sta er toch iedere keer weer van te kijken. Het gevoel is voor mensen van mijn generatie bekend van een jaar of dertig geleden, toen het internet doorbrak: wat verandert onze wereld snel, en wat zullen we daar niet allemaal mee kunnen doen. (Ik ben bij dit tijdschrift begonnen in 1996 als redacteur die precies de ontwikkelingen van het internet in de neerlandistiek in de gaten zou houden. Een en al optimisme was het – kijk eens hoe we van alles en nog wat aan iedereen ter beschikking kunnen stellen. En kijk eens wat er van gekomen is! De DBNL, het Handboek Vakdidactiek, LitLab, het Taalportaal, en wat niet al!
Alleen dat de macht uiteindelijk gegrepen zou worden door types als Mark Zuckerberg en Elon Musk, dat konden we niet voorzien.
Er is daarom nu ook al vanaf het begin meer reden om je zorgen te maken: Zuckerberg en Musk zitten al aan de knoppen waar het om kunstmatige intelligentie gaat. Maar dat is alleen maar reden te meer om alles van nabij te volgen. Indertijd kwamen de geesteswetenschappen wat traag op gang, waar het ging om aanpassingen aan de moderne tijd – nog steeds is er trouwens geen diamond open access tijdschrift voor ons vak. Laten we de ontwikkelingen nu dan toch minstens wel gespannen volgen. Je kunt er voor zijn of ertegen zijn, maar denken dat het een hype is die wel weer overwaait.
State-of-the-art
Gisteren mocht ik even gebruik maken van een betaald abonnement op ChatGPT, dat onder andere ‘deep research’ kan doen, diep onderzoek. Je formuleert een onderzoeksvraag, en wacht een half uur. Dan heb je een compleet onderzoeksrapport. Hier is de vraag die ik stelde:
Schrijf een wetenschappelijk artikel in het Engels, gericht op een internationaal publiek, over de de dialectologische verdeling van ‘friet’ of ‘patat’ in het Nederlandse taalgebied. Baseer je zoveel mogelijk op bestaande bronnen. Genereer ook grafieken, en maak van het geheel een TeX bestand.
En hieronder staat het artikel van 15 pagina’s dat ChatGPT in een paar minuten schreef. Natuurlijk is het niet een vreselijk interessant onderwerp: er valt nu eenmaal niet echt veel over te melden, en er is nauwelijks serieus onderzoek naar deze kwestie. Het leest als een parodie op onderzoek, maar dat komt volgens mij door het onbenullige onderwerp, waarover eigenlijk geen echt diepgaand onderzoek is gedaan (of nodig is).
Toch vallen er een aantal zaken over op te merken, zoals dat het gegeven de beperkte bronnen wel een uitputtend en goed gestructureerd wetenschappelijk artikel over het onderwerp is. Wie als Engelstalige wil weten wat de state-of-the-art is op dit gebied, kan echt wel bij dit artikel terecht. Het systeem genereerde bovendien een bruikbare nieuwe kaart over het verschijnsel. En dan moet je je eens voorstellen als je de chatbot voorziet van je eigen data over echt onderzoek. (Helemaal perfect is het overigens niet, er is bijvoorbeeld alleen maar 1 kaart terwijl het abstract beweert dat er meerdere zijn. Ik heb ook een paar onvolkomenheden in de opmaak verbeterd; aan de inhoud heb ik niets veranderd.)
In andere vakgebieden schijnen de redacties van tijdschriften al overstroomd te worden met door chatbots geschreven artikelen, die dan weer beoordeeld worden met behulp van andere chatbots. Zo kan de hele wetenschap geautomatiseerd worden. Ons vakgebied is daar nu nog te klein voor, maar ik voorspel: dit gaat ook gebeuren, al is het dan misschien pas over 10 jaar.
Theorievorming
Het lijkt mij voor iedere neerlandicus belangrijk om kennis te nemen van dit artikel, niet omdat de patat-friet-kwestie nu inherent zo interessant is, maar omdat wat ik hier toon een paar jaar geleden nog volkomen ondenkbaar was: een wetenschappelijk artikel op ons vakgebied geschreven door de computer. (En geloof me, dit is toevallig taalkunde, maar voor de letterkunde kun je hetzelfde kunstje vertonen.) Ik vind het vooralsnog veel lastiger om een goede blogpost te laten maken: precies de eigenaardige draaien en zwaaien en het onverwachte en persoonlijke dat een blogpost maakt is veel lastiger na te doen. Academische stijl is aan zoveel regels gebonden dat je het eigenlijk wel kunt imiteren.
Een mogelijk gevolg is dat de wetenschap nog meer gereduceerd wordt tot wat het altijd al was: het stellen van de juiste vragen. Mijn patat-frietvraag was niet bijzonder goed, en levert daarom een matig antwoord op. Maar als het antwoord altijd kan worden uitgezocht door de chatbot, is de mens nodig om die vragen te stellen.
Een ander gevolg is, wat mij betreft, dat de theorievorming centraal moet staan in het onderzoek. Ja, de feiten zijn boven water te krijgen, maar als de chatbot van iedere onderzoeker iedere dag 10 artikelen kan uitscheiden – meer dan die onderzoeker zélf lezen kan –, dan hebben we manieren nodig om alle resultaten tot nuttige inzichten samen te vatten. En die nuttige inzichten, die noemen we theorie.
Appendix
Dit is een artikel over een wat serieuzer onderwerp, waarover meer literatuur is. Het is een heel redelijke samenvatting, al zijn er wat rare dingen. Zo illustreren sommige voorbeelden duidelijk de bewering die gemaakt wordt, behalve dat ze net geen Nederlands zijn (brod) en staat er aan het eind alleen maar een ‘selectie’ van de bronnen. Ook praat het model een paar keer tegen zichzelf (‘Not sure’). Toch zou je hier volgens mij in een dag of 2 een redelijk artikel van kunnen maken.
Dit was de prompt: “Write a literature review on the phonetics and phonology of voiced vs voiceless consonants in Dutch. The emphasis should be on the theoretical implications of the findings, both for phonology and for phonetics. Target journal is the Journal of Linguistics. Make the whole into a docx-file and include graphs and figures where necessary.”
Dit was na 15 minuten wachten het resultaat:
“Alleen dat de macht uiteindelijk gegrepen zou worden door types als Mark Zuckerberg en Elon Musk, dat konden we niet voorzien.”
Nee, dat is wel voorzien. De mensen die DDS oprichtten wisten het heel goed en voorspelden ook dat we heel anders naar informatie moesten gaan kijken. Het beklemmende is dat alle waarschuwingen zijn genegeerd.
Die zogenaamde “bruikbare nieuwe kaart” is gewoon zonder bronvermelding van Wikipedia geplukt: https://fr.wikipedia.org/wiki/Fichier:Patat_Friet_Isogloss.jpg
Hoeveel van de tekst zelf zou geplagieerd zijn?
Dat laatste is een belangrijke vraag. In zekere zin natuurlijk: alles.
Dank voor de correctie. Ik had tot mijn schande de afbeelding niet herkend als van Wikipedia. Volgens mij klopt hij niet helemaal, althans, hij is minder subtiel dan de kaart van Stroop waarop hij duidelijk gebaseerd is. Dat schijnt een bekende valkuil te zijn: het klopt niet helemaal en daarom denk je dat het wel door AI gegenereerd zal zijn.
Ik zeg het er meteen maar even bij: ik ben niet academisch opgeleid maar ben wel zeer geïnteresseerd in het onderwerp en vraag me dit af: is het (allemaal) correct wat ChatGpt beweert in het gegenereerde artikel? En hoe kunnen we dat beoordelen?
Eenvoudige vragen als: “wat is de tekst van het lied Dodenrit van drs. P.?” Wist ChatGpt enkele weken geleden nog niet juist te beantwoorden ondanks dat die tekst gewoon online te vinden is.
LLM’s zijn reusachtige statistische-woordvolgorde-voorspellers en bekend is dat ze regelmatig hallucineren(oftewel bullshit opschrijven). Zo verzinnen ze bijvoorbeeld citaten uit niet bestaande bronnen en creëeren zo teksten van het gehalte: “het had waar kunnen zijn”. Maar is het ook correct?
Ik geloof dat dit toch een gedateerde opvatting is. Je kunt ChatGPT tegenwoordig laten zoeken op internet, waardoor het veel minder hallucineert en zelfs zijn bronnen verantwoord. Als je dit aanzet bij de vraag ‘wat is de tekst van het lied Dodenrit van drs. P.?’ verontschuldigt het zich dat het de tekst niet integraal over kan nemen vanwege het copyright (enigszins ironisch natuurlijk). Daarna levert het vier verschillende hyperlinks naar de volledige tekst en een accurate samenvatting van de inhoud daarvan. Het somt zelfs enkele van de meest in het oog springende formele kenmerken op.
Klopt het allemaal? Dat is wat sterk gezegd, maar van de onderwerpen waarover deze artikelen gaan heb ik wel enig verstand (daarom heb ik ze uitgekozen) en in geen van beide staan zo rare dingen dat ik zou denken dat ze niet door mensen geschreven zijn. De artikelen verwijzen naar de literatuur zoals ik ze ken en vatten die adequaat samen. Het raarste noem ik al in het artikel: dat in het artikel over stemhebbendheid, Nederlandse woorden net steeds verkeerd worden gegeven – brod voor brood en valen voor vallen. Maar als lezer zou ik denken: hier schrijft iemand over de fonologie van het Nederlands zonder Nederlands te kennen (dat komt voor).
Het belangrijkste bezwaar tegen de papers is niet dat ze grove fouten bevatten, maar dat ze heel saai zijn, eigenlijk geen enkele originele gedachte bevatten, en (daarom) triviaal zijn.
Nu nog even ChatGPT als kritische reviewer van het zelf gegenereerde artikel inzetten en dan kan ook dat geautomatiseerd worden.
Ik zag een (door ChatGPT gegenereerde) cartoon van een student die zwetend achter zijn computer zit en denkt: “ik heb geen tijd meer om dat werkstuk te schrijven!” en dan een chatbot de opdracht geeft om zijn 5 bulletpoints om te zetten in een artikel van 12 pagina’s. Dat stuurt hij aan de docent die ervan schrikt en denkt: ‘Ik heb geen tijd om een hele artikel van 12 pagina’s te lezen!’ en aan de chatbot vraagt ‘zet dit artikel om in 5 bulletpoints’.
Het blijft jatten met de ‘i’ niet van ‘intelligentie’ maar de ‘i’ van ‘illusie’. En het gebruikt krankzinnig veel energie.
What is the environmental impact of this “research”? How many litres of water did ChatGPT use to produce this text? I think anyone using AI tools should be required to provide an environmental statement to accompany their work. I don’t understand how any universities that mention sustainability in their mission statements can justify the use and funding of AI tools.