©Unsplash
Tool van OpenAI die gesprekken omzet in tekst blijkt zelf dingen te verzinnen
Whisper, een transcribeertool van OpenAI, blijkt het niet zo goed te doen als zou moeten. De software, die gesprekken en opgenomen tekst omzet in geschreven tekst, blijkt zelf dingen te verzinnen die nooit gezegd zijn.
Verschillende softwareontwikkelaars, programmeurs en academische onderzoekers uiten tegenover AP hun zorgen over Whisper. Uit verschillende tests blijkt dat de transcribeertool informatie verzint die helemaal niet benoemd is. Het zou onder andere gaan om medische behandelingen en raciale commentaren die opdoken in teksten die zijn gemaakt door Whisper.
Dat AI-chatbots soms informatie verzinnen die niet klopt, is bekend. Maar juist bij een tool als Whisper, die gevoed wordt met informatie door de gebruiker en niet zelf zoekt naar informatie in bijvoorbeeld databases, zou je dit niet verwachten. Bovendien is het extra gevaarlijk, omdat Whisper al in ziekenhuizen en andere medische instellingen wordt gebruikt, bijvoorbeeld om gesprekken met patiënten om te zetten in tekst. OpenAI raadde gebruik in dat soort situaties tot nu toe altijd af.
Veel fouten in onderzochte teksten
Een onderzoeker van de University of Michigan vond zogenoemde hallucinaties in acht van elke tien opnames die hij onderzocht. Een expert op het gebied van machine learning bestudeerde honderd uur aan opnames van Whisper. Hij vond hallucinaties in meer dan de helft van de gevallen. En een ontwikkelaar met wie AP sprak vond ze in bijna alle 26.000 transcripties die hij maakte met Whisper.
OpenAI reageert dat het bedrijf continu werkt aan verbeteringen van zijn software, onder meer om hallucinaties te verminderen. Het dankt de onderzoekers voor hun bevindingen, schrijft TechCrunch.
Lees meer over AI en blijf op de hoogte via onze nieuwsbrief.