Nadat ChatGPT eerder het vwo– en het havo-eindexamen Nederlands, was ik benieuwd hoe kunstmatige intelligentie ’t zou doen bij de vreemde talen. Ik koos voor het vwo-examen Frans van gisteren, omdat daar de afgelopen jaren weleens klachten over zijn geweest en ik het zelf een paar jaar geleden ook nog eens gemaakt heb. Het vwo-examen van dit jaar staat, met het correctiemodel, hier.

In dit geval heb ik het examen laten maken door Bing, de kunstmatige intelligentie van Microsoft, die zit ingebouwd in de browser Edge van dat bedrijf. Het voordeel is dat dit gratis toegang geeft tot de technologie GPT4 (die beter is dan GPT 3.5 in de gratis versie van ChatGPT). Het nadeel is dat je slechts twintig vragen per sessie mag stellen. Ik moest het examen dus in stukjes hakken, In totaal had ik drie sessies nodig (er zijn veertig vragen, maar ook het invoeren van de teksten wordt als vraag gesteld, en af en toe was er wat verduidelijking op zijn plaats).

Bing haalde het examen op zijn sloffen. Het heeft 38 van de 47 punten, dat moet uiteindelijk wel ruim een 8 zijn (en misschien een 9). Het ging vooral de mist in bij vragen waarin je verbindingswoordjes moest toevoegen die in een tekst waren weggelaten. De kandidaat moet dan bijvoorbeeld kiezen tussen D’autant plus que, En outre, Et alors en Toutefois,. Ik geloof dat de menselijke kandidaten dat ook lastige vragen vinden, maar de computer maakte hier eigenlijk niks van. Een grappige andere fout kwam voort uit het feit dat Bing informatie over de laatste plaat van Jacques Brel van het internet haalde in plaats zich te baseren op de voorgelegde tekst, en zo iets anders vond dan in de tekst werd beweerd.

Net als ChatGPT tijdens Nederlands is Bing enorm spraakzaam. Ook bij een multiple choice-vraag licht hij toe waarom hij een bepaald antwoord kiest. Op zeker moment begon hij zelfs uit te leggen dát de vragen die ik hem voorlegde multiple choice vragen waren.

Een eigenaardigheid van het examen is dat de kandidaat alleen mag antwoorden in het Nederlands. Antwoorden in het Frans worden afgekeurd. Gelukkig kwam dat in dit geval niet voor, er was slechts één (1) van de 40 vragen waar de kandidaat uberhaupt in proza kon antwoorden, verder ging het alleen over multiple choice-vragen of extreem gesloten vragen. De sessie tussen Bing en mij was drietalig, waarin er tussen Nederlands, Engels en Frans werd geschakeld.

Hieronder staat een transcript van de sessie en de punten die ik aan de antwoorden heb toegekend, staan hieronder.

Ik wil komende week als het lukt ook het eindexamen Fries doen. Dat is interessant omdat er voor een minderheidstaal als het Fries veel minder teksten beschikbaar zijn waarop de kunstmatige intelligentie zijn leesvaardigheid heeft kunnen oefenen. Ik ben benieuwd wat voor consequenties dat heeft voor het examen.