Kunstmatige intelligentie zet spraak om in animatie
Dankzij kunstmatige intelligentie is het mogelijk om geanimeerde monden in real-time te laten meebewegen met gesproken tekst.
Tot nu toe worden de monden van animatiefiguren die praten, handmatig geanimeerd op basis van een eerder ingesproken tekst. Maar onderzoekers van de University of East Anglia, Caltech, Carnegie Mellon University én Disney zijn er nu in geslaagd om spraak real-time te animeren, bericht Engadget.
Om dit te bewerkstelligen namen de onderzoekers meer dan acht uur aan audio en video op van een spreker die meer dan 2500 verschillende zinnen uitsprak. Tijdens het praten werd het gezicht van de spreker getrackt om de veranderingen in het hoofd vast te leggen voor later gebruik in animaties. Met behulp van spraakherkenning werden de door de spreker geproduceerde geluiden uitgeschreven.
Al deze informatie werd vervolgens gebruikt om een neuraal netwerk te trainen om gezichtsuitdrukkingen te animeren die in overeenstemming zijn met klanken die afkomstig zijn uit nieuwe audio.