Teknologi Baru Dapat Mengganti Ekspresi Wajah dalam Waktu Nyata

Ingat bahwa aplikasi Bizarro World "Myidol" yang menjadi viral di musim semi ini karena kemampuannya untuk menggunakan perangkat lunak pengenal wajah untuk membuat avatar digital yang terlihat dan bergerak persis kebanyakan seperti kamu? Itu akan menjadi kenyataan … semacam itu.

Para peneliti di Stanford telah menemukan cara untuk mentransfer ekspresi wajah satu orang ke orang lain secara real time melalui video.

Model yang ditampilkan dalam video demonstrasi Stanford hanya menggunakan PC tingkat konsumen dan kamera kedalaman untuk masing-masing aktor - artinya Anda tidak perlu membutuhkan peralatan canggih untuk menjalankan tromp loe ini, Anda hanya perlu beberapa algoritma yang kompleks.

Para peneliti mengembangkan algoritma real-time baru yang mengambil visual berkualitas tinggi dari wajah masing-masing peserta dan menggunakannya untuk mengubah ekspresi dari "aktor sumber" (orang yang memberikan ekspresi wajah dan / atau pidato) menjadi "aktor target" (orang yang wajahnya akan dimanipulasi sesuai dengan apa yang dilakukan aktor sumber). Informasi visual aktor sumber melewati program dan ditampilkan di atas aliran video aktor target, jadi sepertinya aktor target tersenyum, berbicara, menjulurkan lidahnya, atau apa pun yang terlintas dalam pikiran.

Berkat serangkaian titik referensi yang dipetakan di sekitar wajah (mirip dengan aplikasi Myidol), jenis informasi visual yang diukur oleh sistem termasuk bentuk dan fitur wajah (seperti mata, hidung, mulut, dan bahkan kerutan) serta tekstur dan kedalaman wajah. Program kemudian mencocokkan titik referensi aktor sumber dengan aktor target dan menempatkannya pada target untuk umpan video hiper-realistis.

Karena sistem ini masih dalam pengerjaan (dan peralatan yang sangat sederhana digunakan), hasil akhirnya masih sedikit aneh - seperti gigi tiruan semi-mengganggu, program ditumpangkan di dalam mulut target sehingga tidak ada lubang hitam yang menganga saat itu “ buka ”(lihat di atas) … serta semacam tatapan kosong di mata target. Tapi itu adalah kentang goreng kecil dibandingkan dengan apa yang keren artinya bagi perkembangan program ini bagi kita.

Berikut adalah beberapa ide untuk apa kami dapat menggunakan teknologi ini untuk:

• Anda punya wawancara kerja penting di Skype, dan Anda tidak berpakaian untuk sukses. Cukup gunakan tempat berpenampilan mewah saat Anda memberikan ekspresi wajah dan jawaban wawancara mematikan.

• Anda menonton ceramah langsung dari seorang profesor top di Jerman - satu-satunya masalah adalah Anda tidak berbicara bahasa Jerman. Jangan khawatir, berkat penerjemah real-time yang menggunakan perangkat lunak ini, Anda dapat menyaksikan prof menyampaikan pidatonya dalam bahasa ibu Anda tanpa ada penundaan dubbing yang mengerikan dalam visual.

Tonton ekspresi-swap dalam aksi: