What Are Deepfake Videos And Detecting Them Blink Of An Eye

Satu bentuk maklumat salah maklumat yang baru akan disebarkan melalui komuniti dalam talian apabila kempen pilihan raya 2018 dimanaskan. Disebut "deepfakes" selepas akaun dalam talian palsu yang mempopularkan teknik ini - yang mungkin telah memilih namanya kerana proses itu menggunakan kaedah teknikal yang disebut "pembelajaran mendalam" - video palsu ini kelihatan sangat realistik.

Setakat ini, orang ramai telah menggunakan video mendalam dalam pornografi and satira untuk membuatnya kelihatan bahawa orang-orang terkenal melakukan perkara-perkara yang mereka tidak akan biasa.

Tetapi ia hampir pasti Deepfakes akan muncul semasa musim kempen, yang dikatakan menggambarkan calon berkata perkara atau pergi ke tempat calon sebenar tidak akan.

It's Barack Obama - atau kan?

{youtube}cQ54GDm1eL0{/youtube}

Oleh kerana teknik-teknik ini begitu baru, orang mengalami masalah memberitahu perbezaan antara video sebenar dan video dalam-dalam. Kerja saya, dengan rakan sekerja saya Ming-Ching Chang dan Ph.D. pelajar Yuezun Li, telah menemui cara untuk dengan pasti memberitahu video sebenar dari video mendalam. Ia bukan penyelesaian kekal, kerana teknologi akan bertambah baik. Tetapi ia adalah permulaan, dan menawarkan harapan bahawa komputer akan dapat membantu orang mengatakan kebenaran daripada fiksyen.


innerself subscribe graphic


Apakah 'deepfake' lagi?

Membuat video mendalam adalah seperti menyalin antara bahasa. Perkhidmatan seperti Terjemahan Google gunakan pembelajaran mesin - analisis komputer puluhan ribu teks dalam pelbagai bahasa - kepada mengesan corak penggunaan perkataan yang mereka gunakan untuk membuat terjemahan.

Algoritma Deepfake berfungsi dengan cara yang sama: Mereka menggunakan jenis sistem pembelajaran mesin yang dipanggil a rangkaian saraf yang mendalam untuk memeriksa pergerakan wajah seseorang. Kemudian mereka mensintesis imej wajah orang lain yang membuat pergerakan analogi. Melakukannya dengan berkesan membuat video orang sasaran yang muncul untuk melakukan atau mengatakan perkara yang dilakukan oleh orang sumber.

Bagaimana video deepfake dibuat.

{youtube}8LhI-e2B8Lg{/youtube}

Sebelum mereka berfungsi dengan baik, rangkaian saraf yang mendalam memerlukan banyak sumber maklumat, seperti gambar orang yang menjadi sumber atau sasaran penyamaran. Lebih banyak imej yang digunakan untuk melatih algoritma deepfake, semakin realistik penyamaran digital akan.

Mengesan berkelip

Masih terdapat kelemahan dalam jenis algoritma baru ini. Salah seorang daripada mereka ada kaitan dengan bagaimana simulasi muka berkedip - atau tidak. Manusia dewasa yang sehat berkedip tempat di antara setiap 2 dan 10 saat, dan sekelip mata sahaja antara sepersepuluh dan empat sepersepuluh saat. Itulah yang biasa dilihat dalam video seseorang yang bercakap. Tetapi itu bukan apa yang berlaku dalam banyak video dalam-dalam.

Orang sebenar berkedip ketika bercakap.

{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}

Wajah simulasi tidak berkedip seperti orang sebenar.

{youtube}EttSA9-YIuI{/youtube}

Apabila algoritma deepfake dilatih pada imej wajah seseorang, ia bergantung pada foto yang tersedia di internet yang boleh digunakan sebagai data latihan. Malah bagi orang yang sering difoto, beberapa imej boleh didapati dalam talian yang menunjukkan mata mereka ditutup. Bukan sahaja gambar seperti yang jarang berlaku - kerana mata orang terbuka pada kebanyakan masa - tetapi jurugambar biasanya tidak menerbitkan imej di mana mata subjek utama ditutup.

Tanpa latihan imej orang yang berkelip, algoritma deepfake kurang cenderung untuk membuat muka yang berkedip biasanya. Apabila kita mengira kadar keseluruhan berkedip, dan membandingkannya dengan julat semula jadi, kita mendapati bahawa watak-watak dalam video mendalam yang berkedip banyak kurang kerap dibandingkan dengan orang sebenar. Penyelidikan kami menggunakan pembelajaran mesin untuk memeriksa mata dan menutup mata dalam video.

Ini memberikan kita inspirasi untuk mengesan video yang mendalam. Selanjutnya, kami membangunkan satu kaedah untuk mengesan apabila orang dalam video itu berkelip. Untuk menjadi lebih spesifik, ia memindai setiap bingkai video yang dipersoalkan, mengesan wajah di dalamnya dan kemudian menempatkan mata secara automatik. Ia kemudian menggunakan satu lagi rangkaian saraf yang mendalam untuk menentukan sama ada mata yang dikesan itu terbuka atau dekat, dengan menggunakan penampilan mata, ciri geometri dan pergerakan.

Kami tahu bahawa kerja kami mengambil kesempatan daripada kecacatan dalam jenis data yang tersedia untuk melatih algoritma deepfake. Untuk mengelakkan diri menjadi cacat yang sama, kami telah melatih sistem kami di perpustakaan besar imej mata terbuka dan tertutup. Kaedah ini seolah-olah berfungsi dengan baik, dan sebagai hasilnya, kami telah mencapai lebih banyak kadar pengesanan peratus 95.

Ini bukan kata akhir dalam mengesan deepfakes, sudah tentu. Teknologi ini memperbaiki dengan cepat, dan persaingan antara menjana dan mengesan video palsu adalah sama dengan permainan catur. Khususnya, berkedip boleh ditambah ke dalam video mendalam dengan memasukkan imej wajah dengan mata tertutup atau menggunakan urutan video untuk latihan. Orang yang ingin mengelirukan orang ramai akan menjadi lebih baik dalam membuat video palsu - dan kami dan orang lain dalam komuniti teknologi perlu terus mencari cara untuk mengesannya.The Conversation

Tentang Pengarang

Siwei Lyu, Profesor Madya Sains Komputer; Pengarah, Visi Komputer dan Makmal Pembelajaran Mesin, Universiti di Albany, Universiti Negeri New York

Artikel ini pada asalnya diterbitkan pada Perbualan. Membaca artikel asal.

Buku-buku yang berkaitan

at InnerSelf Market dan Amazon