Deepfakes Tidak Cocok untuk Pembelajaran Mesin - Inilah Alasannya

Suatu bentuk misinformasi baru siap menyebar melalui komunitas online ketika kampanye pemilihan jangka menengah 2018 memanas. Disebut "deepfakes" setelah akun online pseudonim yang mempopulerkan teknik - yang mungkin telah memilih namanya karena prosesnya menggunakan metode teknis yang disebut "deep learning" - video palsu ini terlihat sangat realistis.

Sejauh ini, orang-orang telah menggunakan video deepfake dalam pornografi dan sindiran untuk membuatnya tampak bahwa orang-orang terkenal melakukan hal-hal yang tidak biasanya mereka lakukan. Tetapi hampir pasti deepfakes akan muncul selama musim kampanye, dimaksudkan untuk menggambarkan kandidat mengatakan hal-hal atau pergi ke tempat kandidat sebenarnya tidak.

Karena teknik-teknik ini sangat baru, orang mengalami kesulitan untuk mengatakan perbedaan antara video nyata dan video deepfake. Pekerjaan saya, dengan rekan saya Ming-Ching Chang dan Ph.D. mahasiswa Yuezun Li, telah menemukan cara untuk dapat diandalkan untuk mengatakan video nyata dari video deepfake. Ini bukan solusi permanen, karena teknologi akan meningkat. Tapi ini awal, dan menawarkan harapan bahwa komputer akan dapat membantu orang mengatakan kebenaran dari fiksi.

Apa itu "Deepfake," Lagi pula?

Membuat video deepfake sangat mirip menerjemahkan antar bahasa. Layanan seperti Google Translate menggunakan pembelajaran mesin - analisis komputer terhadap puluhan ribu teks dalam berbagai bahasa - untuk mendeteksi pola penggunaan kata yang mereka gunakan untuk membuat terjemahan.

Algoritma deepfake bekerja dengan cara yang sama: Mereka menggunakan jenis sistem pembelajaran mesin yang disebut jaringan saraf dalam untuk memeriksa pergerakan wajah satu orang. Kemudian mereka mensintesis gambar wajah orang lain yang membuat gerakan analog. Melakukannya secara efektif membuat video dari orang target yang muncul untuk melakukan atau mengatakan hal-hal yang dilakukan orang sumber.

Sebelum mereka dapat bekerja dengan baik, jaringan saraf yang dalam membutuhkan banyak sumber informasi, seperti foto orang yang menjadi sumber atau target peniruan. Semakin banyak gambar yang digunakan untuk melatih algoritma deepfake, semakin realistis peniruan digitalnya.

Mendeteksi Berkedip

Masih ada kekurangan dalam algoritma jenis baru ini. Salah satunya berkaitan dengan bagaimana wajah yang disimulasikan berkedip - atau tidak. Manusia dewasa yang sehat berkedip di suatu tempat antara setiap dua dan 10 detik, dan satu kedipan tunggal membutuhkan waktu antara satu per sepuluh dan empat per satu detik. Itulah yang biasa dilihat dalam video seseorang yang berbicara. Tapi bukan itu yang terjadi di banyak video deepfake.

Ketika algoritma deepfake dilatih pada gambar wajah seseorang, itu tergantung pada foto yang tersedia di internet yang dapat digunakan sebagai data pelatihan. Bahkan bagi orang yang sering difoto, beberapa gambar tersedia secara online dengan mata tertutup. Tidak hanya foto-foto seperti itu yang jarang - karena mata orang sering terbuka - tetapi fotografer biasanya tidak mempublikasikan gambar di mana mata subjek utama ditutup.

Tanpa melatih gambar orang yang berkedip, algoritma deepfake cenderung membuat wajah yang berkedip secara normal.Ketika kami menghitung tingkat keseluruhan berkedip dan membandingkannya dengan rentang alami, kami menemukan bahwa karakter dalam video deepfake jauh lebih jarang berkedip dibandingkan dengan orang sungguhan. Penelitian kami menggunakan pembelajaran mesin untuk memeriksa pembukaan dan penutupan mata dalam video.

Lihat juga: Hollywood Tidak Akan Memainkan Bintang Asia-Amerika, tetapi A.I. Machine Learning Can

Ini memberi kita inspirasi untuk mendeteksi video deepfake. Selanjutnya, kami mengembangkan metode untuk mendeteksi ketika orang dalam video berkedip. Untuk lebih spesifik, ini memindai setiap bingkai video yang dipermasalahkan, mendeteksi wajah-wajah di dalamnya, dan kemudian menempatkan mata secara otomatis. Kemudian menggunakan jaringan saraf dalam lainnya untuk menentukan apakah mata yang terdeteksi terbuka atau tertutup, menggunakan tampilan mata, fitur geometris, dan gerakan.

Kita tahu bahwa pekerjaan kita mengambil keuntungan dari kekurangan dalam jenis data yang tersedia untuk melatih algoritma deepfake. Untuk menghindari jatuh menjadi korban cacat yang serupa, kami telah melatih sistem kami pada perpustakaan besar gambar mata terbuka dan tertutup. Metode ini tampaknya bekerja dengan baik, dan sebagai hasilnya, kami telah mencapai tingkat deteksi lebih dari 95 persen.

Ini bukan kata terakhir untuk mendeteksi deepfake, tentu saja. Teknologi ini berkembang pesat, dan persaingan antara membuat dan mendeteksi video palsu analog dengan permainan catur. Secara khusus, berkedip dapat ditambahkan ke video deepfake dengan memasukkan gambar wajah dengan mata tertutup atau menggunakan urutan video untuk pelatihan. Orang yang ingin membingungkan publik akan menjadi lebih baik dalam membuat video palsu - dan kami dan orang lain dalam komunitas teknologi perlu terus menemukan cara untuk mendeteksinya.

Artikel ini awalnya diterbitkan di The Conversation oleh Siwei Lyu. Baca artikel asli di sini.