AI kan helemaal niet zo goed redeneren, stellen experts

Stel je voor dat je een wiskundig probleem moet oplossen waarbij Lana op vrijdag 44 aardbeien plukt. Vervolgens plukt ze er 58 op zaterdag. Op zondag plukt ze dubbel zoveel aardbeien als op vrijdag. Hoeveel aardbeien heeft Lana? Als je dat als mens moet bedenken, dan zul je waarschijnlijk eerst berekenen wat het dubbele is van 44: 88. Dan doe je 44 + 58 + 88 en kom je uit op 190. 

Large Language Models

AI-researchers van Apple ontdekten dat AI dat heel anders aanpakt. In hun paper over de begrenzingen van wiskundige redeneringen in large language models schrijven ze dat zodra je er meer informatie tussenzet, het te verwarrend is. Op zich kan AI het bovenstaande probleem wel oplossen, maar als je daar bijvoorbeeld van maakt dat Lana vijf aardbeien plukte die kleiner waren dan de rest, dan wordt het ingewikkeld. Hoewel deze extra informatie niet relevant is en niets te maken heeft met het wiskundeprobleem, raken LLM’s er zwaar van in de war. 

GPT-o1-mini maakt ervan dat de kleinere kiwi’s van het totaal van het aantal kiwi’s op zondag moet worden afgetrokken. Volgens de onderzoekers is dat omdat de modellen het probleem om te beginnen al niet begrijpen. Ze kunnen door de trainingsdata vaak goed reageren, maar zodra het echt om redeneren gaat, worden de antwoorden ineens gek. En niet alleen bij de AI van OpenAI.

1/ Can Large Language Models (LLMs) truly reason? Or are they just sophisticated pattern matchers? In our latest preprint, we explore this key question through a large-scale study of both open-source like Llama, Phi, Gemma, and Mistral and leading closed models, including the… pic.twitter.com/yli5q3fKIT

— Mehrdad Farajtabar (@MFarajtabar) October 10, 2024

Wiskundig redeneren

“We onderzoeken de fijngevoeligheid van wiskundig redeneren in deze modellen en tonen aan dat hun prestaties aanzienlijk verslechteren naarmate het aantal clausules in een vraag toeneemt. We veronderstellen dat deze achteruitgang te wijten is aan het feit dat de huidige LLM's niet in staat zijn om echt logisch te redeneren; in plaats daarvan proberen ze de redeneerstappen te repliceren die in hun trainingsgegevens zijn waargenomen.” 

OpenAI is het niet met de conclusie eens. Die stelt dat het aan de prompt ligt dat de AI er niet goed op reageert. Of AI echt kan redeneren of niet, dat blijft uiteindelijk iets voor nader onderzoek, al is het ook een kwestie van definitie. 

Lees meer over AI.