Ik denk dat er een half jaar geleden, toen met ChatGPT de eerste chatbot van een nieuwe generatie op internet verscheen, iets is gebeurd dat we nu nog niet gebruiken. In ieder geval is er nu een wezen dat geen mens is en toch menselijke taal kan gebruiken op een niveau dat tot nu toe nog nooit door iets of iemand werd bereikt die geen mens was.
Het is nog niet perfect, maar het is wel de moeite van het onderzoeken waard. Wat kan dat ding nog niet dat wij wel kunnen? Wat kan het wel dat bijvoorbeeld dieren niet kunnen? En wat kan het misschien zelfs beter dan wij? We kunnen vast van alles leren over menselijke taal door deze vergelijking te maken.
Maar hoe moeten we de taal van die chatbots bestuderen. Op internet staat sinds een paar dagen een artikel van een aantal onderzoekers van de Universiteit van Berkeley. Zij onderzochten of ChatGPT recursie kent, de eigenschap dat je in menselijke taal zinnen kunt inbedden in andere zinnen (ik wandel is een zin, die onderdeel is van jij denkt dat ik wandel en die laatste weer onderdeel van Marie zegt dat jij denkt dat ik wandel), enzovoort, zelfstandignaamwoordsgroepen in andere zelfstandignaamwoordsgroepen (mijn moeder in mijn moeders hoedje), enzovoort. Recursie wordt door veel onderzoekers gezien als dé definiërende eigenschap van menselijke taal.
Vermogen
Maar de onderzoekers laten zien dat ChatGPT het ook kan: het kan uitleggen waarom een zin recursief is, het kan extra recursieve stappen toevoegen aan een zin, enzovoort. Ze onderzochten dat door ChatGPT allerlei taalkundige vragen te stellen, en het systeem antwoordde daar vrij goed op. En als het dat niet deed, vroegen ze ‘klopt dat wel?’ en gaf het vaak alsnog het goede antwoord.
Ik weet eigenlijk niet hoe indrukwekkend dat resultaat is. Het is waar dat dieren, zelfs heel intelligente dieren met uitgebreide communicatiesystemen, dit allemaal niet kunnen. Maar we weten tegelijk ook al vele decennia dat computers in ieder geval in theorie wel degelijk met recursie om kunnen gaan, en ook nog wel met structuren die de mens juist helemaal niet aankan. In dat opzicht laat dit dus alleen maar zien dat computers goed kunnen omgaan met abstracte structuren. Veel intrigerender is sinds de komst van de chatbots echter de vraag wat zij allemaal wel kunnen dat niet in ons vermogen ligt. En waarom.
Ingewikkeld
Maar interessanter dan dit – in mijn ogen dus vrij magere – resultaat is de gebruikte methode. Het artikel documenteert volgens mij goed dat we anno 2023 nog niet weten hoe we die kunstmatige intelligentie moeten onderzoeken. In ieder geval op de academie.
Een van de grote heel nare kanten van de huidige ontwikkeling is dat alléén heel grote bedrijven genoeg geld hebben om deze technologie te maken. Zelfs van het geld bulkende Amerikaanse universiteiten kunnen dat niet. We hebben hier dus te maken met een uitvinding waar de academische wereld geen rechtstreekse toegang toe heeft. We kunnen er alleen vanaf de buitenkant naar kijken.
Het is alsof CocaCola ineens geneeskrachtige potentie bleek te hebben, terwijl niemand wist wat het recept precies was. Met in dit geval ook nog de extra complicatie dat het recept zo ingewikkeld was dat bij CocaCola zelf ook niemand het precies begreep.
Naar binnen kijken
De auteurs van het nieuwe artikel doen dan ook niet veel meer dan wat iedereen doet: vragen stellen aan ChatGPT. Maar zelfs daarvan weet ik niet zeker of het niet beter kan. Als het systeem een verkeerd antwoord geeft, vragen ze het dus opnieuw, en soms zelfs een paar keer, tot uiteindelijk het ‘juiste’ antwoord komt. Maar wat zegt dat dan?
Het omgekeerde zie je ook wel vaak voorbij komen: mensen die zeggen dat de systemen nog niet veel kunnen, omdat ze verkeerde antwoorden geven op simpele vragen. Terwijl ze de volgende keer misschien wél het goede antwoord geven.
Je zou waarschijnlijk eigenlijk ChatGPT sowieso 100 keer iedere vraag moeten stellen en dan tellen hoe vaak het antwoord juist is. Dat levert wat minder spectaculaire resultaten op, maar uiteindelijk waarschijnlijk wel inzichtelijkere: het systeem blijkt bijvoorbeeld in 64% van de gevallen met recursie te kunnen omgaan. Je wilt in dat geval natuurlijk nog steeds weten waarom je dat aantal eruit vindt, en het valt alleen maar te hopen dat er een oplossing wordt gezocht voor het probleem dat we niet naar binnen kunnen kijken.
Doe dat nou niet Marc: “Het is waar dat dieren, zelfs heel intelligente dieren met uitgebreide communicatiesystemen, dit allemaal niet kunnen.” Zeg ten eerste “andere dieren” en zet de mens niet weer op zo’n verfoeilijk christelijk voetstuk, en ten tweede, is het wel waar? Wat weten we ervan? Nog maar heel weinig. Sinds wij die machtige mensentaal zijn gaan gebruiken zijn we ook het vermogen kwijtgeraakt de andere levende natuur te begrijpen. Kijk, dát is het onderscheidende verschil met andere “communicatiesystemen” (dat dédain dat daaruit spreekt!). Maar goed, het is natuurlijk veel interessanter om nu weer eens te gaan kijken waarin wij van robots veranderen….
Er wordt natuurlijk feitelijk al tientallen jaren onderzoek gedaan naar het taalvermogen van dieren, al dan niet andere. De structuur van heel veel communicatiesystemen is redelijk goed in kaart gebracht, er is er nog nooit een aangetroffen die recursie kent. Het blijft natuurlijk altijd mogelijk dat ergens op de wereld een mierensoort zit die wel recursieve structuren maakt. Met dedain heeft dat alles weinig te maken, behalve als je denkt dat recursieve structuren iets heel hoogs en belangrijks zijn, iets wat de soort die het heeft meer waard maakt dan andere. Maar dat beweert bij mijn weten echt helemaal niemand.
De onderzoekers gaan misschien uit van een wel heel naïef standpunt, namelijk dat taal alleen maar bijzonder is omdat het een recursief systeem is. Recursie zit ook al in rekenen, en rekenen is in vergelijking met taal toch een belachelijk eenvoudig systeem. Er moet iets anders ook nog zijn dat taal zoveel krachtiger maakt, qua uitdrukkingsvermogen.
Ik denk dat het gaat om het vermogen om verschillende informatielagen met elkaar in verband te brengen. Daarover hebben Rik Smits en ik in het festschrift voor Wim Zonneveld een artikeltje geschreven. Je vindt het als je “Language as a lacework of layers” intikt. Het belang van meerlagigheid blijkt uit de rol van de spelling, zie “Spelling als handelswaar”.
De generatieve taalkunde van dit moment lijkt zich te beperken tot de de vraag hoe betekenisrollen in het recursieve systeem ingebed worden en dat lijkt een vruchtbare aanpak te zijn, want er komt een best logisch geheel van nieuwe taalkundige begrippen uit voort (zoals een werkruimte waarbinnen het systeem zich beweegt, en het onderscheid tussen kopie en herhaling). De beperking is begrijpelijk, want je moet je beperken, als je vooruitgang in de wetenschap wilt boeken. Dat geldt natuurlijk ook voor dit onderzoek naar de vermogens van chatGPT. Hopelijk beseffen de onderzoekers wel dat ze slechts een enkel aspect van het taalsysteem hebben onderzocht.
Dit en meer, ken je deze website?
https://youtu.be/4v6T1p7UZNA
Robert Krudzlo, is dit een vraag aan mij? Ik kende de website niet, heb hem inmiddels bekeken en vind dit filmpje best leuk, maar het bracht me niets nieuws. Het verhaal dat verteld wordt is nogal soft. De kwestie die door het onderzoek naar de vermogens van chatGPT naar boven komt drijven is dat het belangrijk is om de formele kant van taal in kaart te brengen. Hoe werkt dat verband tussen vorm en betekenis precies, welk soort van regels heb je nodig? Welke verbanden leggen die regels, en hoe zouden die in het menselijk brein functioneren? Die richting van het taalkundige onderzoek wordt de biolinguïstiek genoemd. Hartstikke relevant en in mijn ogen de richting die de taalwetenschap van dit moment moet inslaan. Goed dat Marc van Oostendorp dit artikel (en kort geleden ook dat wiskundige artikel van Marcoli, Chomsky en Berwick) onder de aandacht brengt op Neerlandistiek.