Reality Augmented Reality dan CGI milik Pinscreen di dalam

Augmented reality dan bertukar muka tampaknya menjadi kandidat paling populer untuk aplikasi seluler berikutnya; lihat saja pembelian Facebook dari MSQRD atau akuisisi Looksery oleh Snapchat. Tetapi satu startup AR yang disebut Pinscreen, saat ini didukung dengan dana $ 1,8 juta dari Lux Capital dan Colopl VR Fund, sedang mencari untuk melakukan hal-hal yang berbeda di bidang ini. Terbalik berbicara secara eksklusif kepada pendiri Pinscreen Hao Li tentang apa yang mungkin terjadi di masa depan untuk perusahaan rahasia ini.

Anda mungkin belum pernah mendengar tentang Hao Li, tetapi Anda mungkin pernah melihat penelitian Asisten Profesor USC ini beraksi di beberapa film blockbuster. Saat bekerja di studio efek visual Industrial Light & Magic, Li membantu mengembangkan beberapa alat yang memungkinkan penangkapan kinerja waktu-nyata. Idenya adalah bahwa seorang aktor bisa duduk di depan komputer dengan kamera web, memerankan adegan, dan kemudian kinerja itu akan diterjemahkan - secara real-time - ke karakter CG.

Li juga telah melakukan penelitian yang luas di bidang lain, termasuk membuat model 3D orang-orang nyata secara real-time, dan menangkap bagian-bagian penting dari kemiripan mereka, terutama wajah dan rambut. Baru-baru ini, Li memamerkan penelitian yang telah ia dan orang lain lakukan dalam menangkap kinerja dari seseorang hanya dengan satu kamera, dan menerjemahkannya ke karakter digital.

Pada awalnya, ini tidak terdengar begitu novel. Sudah ada sejumlah solusi pelacakan wajah dalam pengembangan, baik untuk aplikasi seluler dan sistem yang jauh lebih canggih seperti Faceshift (dibeli oleh Apple pada 2015). Tetapi banyak dari ini mengandalkan sensor kedalaman, yang tidak dibutuhkan teknologi Li. Pendekatan itu, katanya, sangat berbeda.

"Jika Anda memiliki sensor kedalaman, yang Anda butuhkan adalah mengoptimalkan parameter model wajah sehingga model tersebut sesuai dengan input 3D sedekat mungkin," jelas Li. “Tetapi dalam hal input RGB murni, seluruh dunia diproyeksikan ke gambar dua dimensi tanpa parameter kamera yang diketahui seperti panjang fokus. Jadi model wajah 3D yang akurat perlu disimpulkan dari gambar yang diproyeksikan ini dan mampu menangani berbagai kondisi pencahayaan serta penampilan subjek yang berbeda."

Karenanya pentingnya penelitian Li pada avatar 3D. Saat memetakan wajah manusia, banyak program pemetaan mengalami kesulitan menangani hambatan visual seperti rambut dan kacamata. Untuk menghindari masalah itu, Pinscreen “membangun jaringan saraf convolutional yang mendalam yang dapat belajar bagaimana cara membagi daerah wajah dalam gambar yang sepenuhnya tidak dibatasi.”

Jadi, untuk apa Pinscreen menggunakan teknologi canggih yang gila ini?

“Kami akan menjadi jenis baru platform media sosial / komunikasi dengan beberapa kemampuan AR yang menarik,” kata Li. "Ini tidak akan menjadi aplikasi seperti lensa Snapchat atau MSQRD, yang bagi kebanyakan orang hanya menarik selama beberapa menit."

Jadi, itu tidak lebih dari kata kunci untuk saat ini. Tetapi, melihat lebih dalam, karyanya yang terdahulu menunjukkan bahwa mereka berharap untuk mengembangkan kemampuan melacak wajah seseorang terlepas dari rambut, kacamata, atau benda apa pun yang menghalangi pandangan kamera tunggal. Tambahkan beberapa augmented reality, dan batas langit untuk film, media sosial, dan game.

Kedengarannya agak membingungkan, tetapi penting untuk dicatat bahwa Li dan timnya bukan satu-satunya yang meneliti di bidang ini. Disney baru-baru ini mempresentasikan tentang pengambilan kinerja wajah secara real-time, seperti yang dilakukan beberapa peneliti lain dengan alat yang disebut Face2Face. Ada juga Faceshift yang disebutkan di atas, bersama dengan Facebook dan Snapchat, yang juga telah mulai memperagakan barang dagangan mereka.

Jadi apa yang membuat teknologi Pinscreen berbeda? Li menyarankan solusi perusahaannya adalah "jauh lebih kuat dan dapat menyimpulkan model 3D yang lebih akurat, karena kami secara eksplisit menangani oklusi."

"Inovasi kami yang paling penting adalah teknologi yang memungkinkan kami membangun model kepala 3D lengkap termasuk rambut dari gambar apa pun secara otomatis," katanya. “Jenis tugas ini secara tradisional membutuhkan pemodel dan rigger CG yang terampil untuk menghasilkan, tetapi kita dapat menghasilkan ini sepenuhnya secara otomatis. Makalah-makalah terbaru yang disajikan di SIGGRAPH (grafis komputer terkemuka dan konferensi teknik interaktif) juga membutuhkan beberapa gambar input sebagai input - kami fokus pada solusi dengan kebutuhan input minimal, satu gambar 2D."

Tentu saja, sampai orang melihat dan menggunakan aplikasi apa pun dari Pinscreen, juri akan tetap keluar tentang kemampuannya. Namun perbedaannya di sini adalah bahwa Li tentu memiliki sejarah penelitian dan inovasi yang kuat di belakangnya, terutama dalam pembuatan avatar digital.

Li jelas yakin akan kemungkinan Pinscreen di ruang media sosial. "Karena teknologi kami akan mendemokrasikan generasi avatar 3D, ia akan memiliki aplikasi yang jelas dalam game, aplikasi VR / AR untuk komunikasi mendalam, atau agen AI," katanya, "tapi saya pikir kami akan membuat aplikasi terkeren sendiri, yaitu platform medial sosial yang kami kembangkan.

“Yang paling penting,” ia menambahkan, “kami ingin membangun sesuatu yang memungkinkan orang untuk membuat konten yang sangat menarik tanpa perlu pipeline VFX yang mahal saat ini dan dapat menggunakan konten AR yang sangat menyenangkan untuk terhubung satu sama lain.”

Kedengarannya seolah-olah Pinscreen akan mencakup berbagai teknologi yang Li dan timnya telah kerjakan. Tetapi, katanya, itu hanya bagian dari rencana. "Demo teknologi benar-benar hanya fitur dari apa yang kami rencanakan untuk digunakan," katanya. “Pinscreen akan menjadi sesuatu yang jauh lebih besar dan teknologi akan menjadi fitur yang menarik di awal. Kami juga akan sangat berbeda dari platform media sosial lainnya."

Untuk saat ini, Pinscreen masih sedikit misteri dan sepertinya kita harus menunggu untuk melihat apa yang mereka miliki.