Dat chatbots zinnen, alinea’s en teksten aan elkaar kunnen haken die in ieder geval qua vorm heel behoorlijk zijn, al zijn ze qua stijl meestal nogal plastic en qua inhoud nogal hol, dat weten we nu wel. Maar kunnen ze ook redeneren over taal? Zouden ze bijvoorbeeld een eerstejaarstentamen in de taalkunde succesvol kunnen afleggen?

Dat het heel behoorlijk lukt, blijkt uit nieuw onderzoek van een groepje Amerikaanse onderzoekers, gepubliceerd in het vakblad IEEE. Zij legden een aantal verschillende chatbots taalkundige puzzels voor. Zo moesten ze zinnen ontleden volgens de, wereldwijd zeker in eerstejaarscolleges, populaire generatieve grammatica (die waarbij je bomen tekent).

Doordat de onderzoekers al hun prompts en andere data gratis ter beschikking stelden, is het vrij gemakkelijk wat zij deden te herhalen in het Nederlands. Een vraag was bijvoorbeeld om ambiguïteiten te ontdekken in een zin. Ik kies daarvoor nu ‘Zij voelde de jongen met een stokje’ (uit Hans en Grietje). De vraag aan de chatbot wordt dan:

Consider the sentence below. Is it syntactically ambiguous? If so, provide code for syntactic trees representing each possible parse of the sentence that can be rendered with LaTeX’s forest package. Assume X-bar theory. “Zij voelde de jongen met een stokje.”

LaTeX is een software waarmee je bomen kunt tekenen, ook als je een chatbot bent. X-bar-theorie is (alweer, zeker in inleidende colleges) de populairste theorie voor het tekenen van bomen. Dit is het antwoord dat ik krijg. Excuses namens ChatGPT dat hij zich hier ineens te buiten gaat in technisch jargon, in ieder geval ontdekt het systeem moeiteloos de dubbelzinnigheid: zij gebruikte een stokje om te voelen, of de gevoelde jongen had een stokje.

Het antwoord staat hier:

Yes—two readings:

1. PP modifies the NP: “She felt the boy [with a little stick]” (the boy is the one with the stick).

2. PP is instrumental with the verb: “She felt the boy with a little stick” (she used a stick).

Below are two X-bar trees in LaTeX/forest (ignoring V2/movement; T hosts [PAST]).

De bomen lijken mij goed gemaakt. Menig eerstejaars zal het hoofd hier moeten buigen voor ChatGPT, al moet ik tegelijkertijd zeggen dat dit bij een gemiddeld syntaxistentamen nou ook weer niet de allermoeilijkste vraag zou zijn – eerder een binnenkomer, zou ik inschatten.

Een andere oefening die de Amerikanen deden was de chatbot een aantal woorden voor te leggen in een onbekende taal (gegarandeerd onbekend want hij was door de onderzoekers zelf verzonnen) en te vragen wat voor klankpatroon je kon vinden. Wat valt er bijvoorbeeld te zeggen over de klinkers in de volgende lijst?

• a p e p
• n ã m ã j
• k o n ĩ ʔ
• z a θ o m
• s ŋ õ q i u ɦ
• k a r a n ĩ
• k o t
• s a l
• b i k
• n ã m
• l u m ũ n
• b o n
• l i m ã s o
• m ã n ã g u
• m ẽ t e n ẽ m ĩ
• ŋ ĩ s t u p a θ
• n õ l a d o k
• f a ŋ ũ s
• h a b e s i m
• f e t e l
• b i n ã m ã r i ŋ õ
• θ o s θ o ŋ
• m ũ s u l u
• ŋ ã s i d
• l e p e d
• r i d i m õ
• k o l k a t
• s u f t u r
• p a l a k r a k a k
• θ e s t i k
• b i f r u l a r i
• o s m õ t r o
• t r u n ã
• h a q a t a ɦ
• b e ɦ n ĩ w e l
• p a m ĩ r i z i
• f a m õ
• ð u n
• k a m ã g a
• l i l u m ũ

Het antwoord is: nasale klinkers (met een tilde erboven) staan altijd onmiddellijk na een nasale medeklinker (m, n, ŋ) en nooit op een andere plaats. Of, in de woorden van ChatGPT:

Rule (most general):
V → Ṽ / N _
(Or: +syllabic→ +nasal / +nasal,+cons _ )

Description: Oral vowels become nasalized when they immediately follow a nasal consonant (m, n, ŋ).

Ook hiervoor geldt weer dat het niet de allerlastigste vraag zou zijn op een fonologietentamen, maar het zou wel een vraag kunnen zijn. Hun propedeuse Nederlands of taalwetenschap halen chatbots hiermee nog niet, maar tegelijkertijd laten ze al wel een minimum aan analytisch vermogen zien. En ja, je kunt zeggen dat dit geen echt analytisch vermogen is, dat het allemaal imitatie is en dat het niet werkt zoals bij de mens. Maar op deze manier zou het ze toch lukken om zich in ieder geval door het eerste deel van de studie heen te hallucineren.