© Wes Hicks
Zelfs taalexperts onderscheiden AI-teksten niet meer van die van mensen
Uit een nieuw onderzoek blijkt dat taalexperts slechts in 39 procent van de gevallen correct herkennen of een korte tekst door AI of door mensen is geschreven.
De twee auteurs van de studie, die in vakblad Research Methods in Applied Linguistics is gepubliceerd, gebruikten 72 taalexperts als proefpersoon. Zij vroegen aan hen om onderzoeksverslagen te lezen en te bepalen of die al dan niet door een mens waren geschreven. Elke expert moest vier teksten beoordelen. Uiteindelijk kon geen enkele expert alle vier de teksten correct identificeren.
Van de experts slaagde 13 procent er zelfs niet in om een enkele tekst correct aan te duiden. In totaal konden experts slechts in 38,9 procent van de gevallen raden of een tekst door een mens of door een AI werd geschreven.
Niet te bepalen of student AI heeft gebruikt
Na het initiële experiment werden sommige experts geïnterviewd om hun methode uit te leggen. Sommigen onder hen gingen te werk door bepaalde taal- of stijlelementen te identificeren om te bepalen of een tekst door een mens werd geschreven. Uit het onderzoek blijkt echter dat hun methodes niet meer volstaan.
De conclusie van de onderzoekers is dat onderwijzers, zelfs taalprofessoren, niet in staat zijn om te bepalen of een tekst die een student indient door een AI-model werd geschreven. De wetenschappers denken dat programma's als ChatGPT nu in staat zijn om korte teksten zelfs beter te schrijven dan mensen, omdat AI-chatbots geen schrijffouten maken.
Lange teksten nog lastig
Maar chatbots zijn nog altijd niet zo goed in het schrijven van lange teksten, zeggen de onderzoekers. De programma's hebben vaak nog altijd de neiging om te 'hallucineren', ofwel informatie te verzinnen. Ook kan een chatbot nog niet redeneren als een mens, waardoor het onmogelijk is om een coherente lange tekst te genereren.
Richtlijnen nodig
Uiteindelijk moet er volgens de auteurs van de studie beter worden nagedacht over richtlijnen voor het gebruik van AI in het onderwijs en de wetenschap. Momenteel bestaan daar nog sterk uiteenlopende meningen over.
VN-organisatie UNESCO wil bijvoorbeeld dat er een minimumleeftijd van 13 jaar komt voordat leerlingen AI mogen gebruiken. Sommige scholen en universiteiten willen de tools helemaal verbieden, terwijl andere juist hebben besloten om de technologie te omarmen.