Aksi Mona Lisa Nge-rap, Pakai Teknologi AI Microsoft, VASA-1

Ilustrasi lukisan Mona Lisa. Foto: Denis Balibouse/Reuters

Microsoft memperkenalkan model artificial intelligence atau AI baru mereka bernama VASA-1. Dengan teknologi ini, tim riset Microsoft sukses membuat Mona Lisa jadi rapper.

Wajah Mona Lisa, lukisan karya Leonardo da Vinci dari abad ke-16 ini, mampu bergerak menyesuaikan irama lagu dan audio yang ditambahkan. Tentu tim Microsoft lebih dulu disclaimer bahwa hasil karya AI pada percobaan ini bersifat tidak nyata alias buatan.

“Kami memperkenalkan VASA, sebuah kerangka kerja untuk menghasilkan wajah berbicara karakter virtual yang nyata dengan keterampilan afektif visual (VAS) yang menarik, dengan menggunakan satu gambar statis dan klip audio ucapan.” tulis Microsoft dalam laman blog mereka.

“Model perdana kami, VASA-1, tidak hanya mampu menghasilkan gerakan bibir yang disinkronkan secara indah dengan audio, namun juga menangkap spektrum besar nuansa wajah dan gerakan kepala alami yang berkontribusi pada persepsi keaslian dan keaktifan.”

Bukan cuma Mona Lisa, Microsoft juga mengimplementasi VASA-1 pada wajah manusia. Dalam blog tersebut, setidaknya ada lebih dari lima video yang bisa dilihat secara langsung dengan ekspresi dan gerakan yang berbeda-beda.

VASA-1 mampu mempelajari dinamika wajah secara holistik. Eksperimen yang dilakukan tim Microsoft ini diklaim unggul dari metode sebelumnya dalam beberapa dimensi.

Model mereka mampu menciptakan gerakan wajah maupun kepala secara alami dengan mulus. VASA-1 mampu mempelajari kondisi seperti arah pandangan mata, jarak kepala serta keseimbangan emosi.

“Metode kami tidak hanya memberikan kualitas video tinggi dengan dinamika wajah dan kepala yang realistis, namun juga sudah support pembuatan video online (dengan resolusi) 512x512 hingga 40 FPS.”

“Kami berdedikasi untuk mengembangkan AI secara bertanggung jawab, dengan tujuan memajukan kesejahteraan manusia,” tulis Microsoft.