NVIDIA stellt das Audio2Face Animation-Modell als Open Source zur Verfügung
NVIDIA veröffentlicht ihre Audio2Face-Modelle und SDK als Open Source, sodass Entwickler von Spielen und 3D-Anwendungen realistische Charaktere mit modernsten Animationen erstellen und einsetzen können. NVIDIA veröffentlicht auch das Trainings-Framework für Audio2Face als Open Source, damit vorhandene Modelle für spezifische Anwendungsfälle optimiert und angepasst werden können.
NVIDIA Audio2Face beschleunigt die Erstellung realistischer digitaler Charaktere durch Echtzeit-Gesichtsanimationen und Lippensynchronisation mithilfe generativer AI. Audio2Face nutzt AI, um aus Audio-Input realistische Gesichtsanimationen zu generieren. Dabei werden akustische Merkmale wie Phonetik und Intonation analysiert, um einen Strom von Animationsdaten zu erstellen, die dann in den Gesichtsausdrücken einer Figur abgebildet werden. Diese Daten können offline für vordefinierte Inhalte gerendert oder in Echtzeit für dynamische, AI-gesteuerte NPCs gestreamt werden, wodurch präzise Lippensynchronisation und emotionale Ausdruckskraft möglich sind.
Das Audio2Face-Modell wird in den Bereichen Gaming, Medien und Unterhaltung sowie Kundenservice eingesetzt. Zahlreiche ISVs (Independent Software Vendors) und Spieleentwickler nutzen Audio2Face in ihren Anwendungen. Zu den Spieleentwicklern gehören Codemasters, GSC Games World, NetEase und Perfect World Games, während zu den ISVs Convai, Inworld AI, Reallusion, Streamlabs und UneeQ zählen.
Weitere Informationen gibt es im NVIDIA-Blog und auf der Übersichtsseite zu NVIDIA ACE in Spielen.