Bagaimana Teknologi Pengecaman Muka Cacat dan Bias Secara Perkauman

Bagaimana Teknologi Pengecaman Muka Cacat dan Bias Secara Perkauman
Algoritma pengecaman wajah biasanya diuji menggunakan wajah putih, yang mengakibatkan teknologi tidak dapat membezakan antara individu perkauman. (Shutterstock)

Polis Detroit secara salah menangkap Robert Julian-Borchak Williams pada Januari 2020 untuk kejadian pencurian kedai yang berlaku dua tahun sebelumnya. Walaupun Williams tidak ada kaitan dengan kejadian itu, teknologi pengecaman wajah yang digunakan oleh Michigan State Police "memadankan" wajahnya dengan gambar kasar yang diperoleh dari sebuah video pengawasan di dalam kedai yang menunjukkan seorang lelaki Afrika Amerika lain mengambil jam tangan bernilai AS $ 3,800.

Dua minggu kemudian, kes itu ditolak atas permintaan pendakwaan. Namun, bergantung pada pertandingan yang salah, polisi sudah memborgol dan menangkap Williams di depan keluarganya, memaksanya memberikan tembakan cangkir, sidik jari dan sampel DNAnya, menyoal siasat dan memenjarakannya semalaman.

Pakar menunjukkan bahawa Williams tidak sendirian, dan yang lain telah mengalami ketidakadilan yang serupa. Kontroversi yang berterusan mengenai penggunaan Clearview AI oleh polis tentunya menekankan risiko privasi yang ditimbulkan oleh teknologi pengecaman wajah. Tetapi penting untuk menyedari itu tidak semua kita menanggung risiko itu sama.

Melatih algoritma perkauman

Teknologi pengecaman wajah yang dilatih dan disesuaikan dengan wajah Kaukasia secara sistematik menyalahtafsirkan dan menyalahgunakan individu yang diperkosa: banyak kajian melaporkan bahawa teknologi pengecaman wajah adalah “cacat dan berat sebelah, dengan kadar ralat yang jauh lebih tinggi apabila digunakan terhadap orang yang berwarna"

ini merosakkan keperibadian dan kemanusiaan orang yang berbaur perkauman yang lebih cenderung disalah anggap sebagai penjenayah. Teknologi - dan kesalahan pengenalpastian yang dibuatnya - mencerminkan dan menambahkan lagi perpecahan sosial yang telah lama terjerat dengan perkauman, seksisme, homofobia, penjajah-penjajah dan penindasan bersilang lain.


Penyiasatan France24 mengenai bias perkauman dalam teknologi pengecaman wajah.

Bagaimana teknologi mengkategorikan pengguna

Dalam buku 1993 yang mengubah permainannya, Jenis Panoptic, sarjana Oscar Gandy memperingatkan bahawa "teknologi kompleks [yang] melibatkan pengumpulan, pemprosesan dan perkongsian maklumat mengenai individu dan kumpulan yang dihasilkan melalui kehidupan seharian mereka ... digunakan untuk menyelaraskan dan mengawal akses mereka ke barang dan perkhidmatan yang menentukan kehidupan di ekonomi kapitalis moden. " Penguatkuasaan undang-undang menggunakannya untuk mencuri suspek dari masyarakat umum, dan organisasi swasta menggunakannya untuk menentukan sama ada kita mempunyai akses kepada perkara-perkara seperti perbankan dan pekerjaan.


Dapatkan yang terbaru dari InnerSelf


Gandy secara nubuat memperingatkan bahawa, jika tidak diperiksa, bentuk "cybernetic triage" ini secara eksponensial akan merugikan anggota masyarakat yang mencari kesaksamaan - misalnya, kumpulan yang diperkosa atau tidak bersosio-ekonomi - baik dari segi apa yang akan diperuntukkan kepada mereka dan bagaimana mereka dapat memahami diri mereka sendiri.

Kira-kira 25 tahun kemudian, kita sekarang hidup dengan ubat panoptic steroid. Dan contoh kesan negatifnya terhadap masyarakat yang mencari persamaan banyak, seperti pengenalan palsu terhadap Williams.

Bias yang ada sebelumnya

Penyortiran ini menggunakan algoritma menyusup ke aspek-aspek yang paling asas dalam kehidupan seharian, yang menimbulkan kekerasan langsung dan struktural.

Keganasan langsung yang dialami oleh Williams segera terlihat dalam peristiwa-peristiwa seputar penangkapan dan penahanannya, dan bahaya individu yang dialaminya jelas dan dapat ditelusuri oleh tindakan polis yang memilih untuk bergantung pada "pertandingan" teknologi untuk melakukan penangkapan. Lebih berbahaya adalah keganasan struktur dilakukan melalui teknologi pengecaman wajah dan teknologi digital yang lain menilai, memadankan, mengkategorikan dan menyusun individu dengan cara yang dapat memperbesar corak diskriminasi yang sudah ada.

Kerosakan keganasan struktur kurang jelas dan tidak langsung, dan menyebabkan kecederaan kepada kumpulan pencari kesetaraan melalui penolakan kuasa, sumber dan peluang secara sistematik. Pada masa yang sama, ia meningkatkan risiko dan bahaya langsung kepada individu anggota kumpulan tersebut.

Penggunaan polisi yang boleh diramal pemprosesan algoritma data sejarah untuk meramalkan kapan dan di mana jenayah baru kemungkinan besar akan berlaku, memberikan sumber polis dengan sewajarnya dan menanamkan pengawasan polis yang lebih baik ke dalam masyarakat, biasanya di kawasan berpendapatan rendah dan berbangsa. Ini meningkatkan kemungkinan bahawa setiap aktiviti jenayah - termasuk aktiviti jenayah yang kurang serius yang mungkin tidak memberi tindak balas polis - akan dikesan dan dihukum, akhirnya akan membatasi peluang hidup orang yang tinggal di dalam lingkungan itu.

Dan bukti ketidaksamaan di sektor lain terus meningkat. Ratusan pelajar di United Kingdom membuat tunjuk perasaan pada 16 Ogos terhadap keputusan bencana dari Sudah tentu, algoritma cacat yang digunakan kerajaan Inggeris untuk menentukan pelajar mana yang layak untuk memasuki universiti. Pada tahun 2019, perkhidmatan iklan pemasaran mikro Facebook menolong puluhan majikan sektor awam dan swasta mengecualikan orang daripada menerima iklan pekerjaan berdasarkan umur dan jantina. Penyelidikan yang dilakukan oleh ProPublica telah mendokumentasikan diskriminasi harga berdasarkan kaum untuk produk dalam talian. Dan mesin carian kerap menghasilkan hasil perkauman dan seksis.

Mengabadikan penindasan

Hasil ini penting kerana mereka mengabadikan dan memperdalam ketaksamaan yang sudah ada berdasarkan ciri-ciri seperti bangsa, jantina dan usia. Mereka juga penting kerana mereka sangat mempengaruhi bagaimana kita mengenal diri kita dan dunia di sekeliling kita, kadang-kadang oleh pra-memilih maklumat kami menerima dengan cara yang memperkuatkan persepsi stereotaip. Malah syarikat teknologi sendiri mengakui mendesak menghentikan algoritma daripada mengabadikan diskriminasi.

Sehingga kini kejayaan penyelidikan ad hoc, yang dilakukan oleh syarikat teknologi itu sendiri, tidak konsisten. Kadang-kadang, syarikat yang terlibat dalam menghasilkan sistem diskriminasi menariknya dari pasaran, seperti ketika Clearview AI mengumumkan tidak akan lagi menawarkan teknologi pengecaman wajah di Kanada. Tetapi selalunya keputusan seperti itu berlaku dari pemeriksaan peraturan atau kemarahan masyarakat sahaja selepas anggota komuniti yang mencari persamaan telah dicederakan.

Sudah waktunya untuk memberi alat yang diperlukan oleh institusi pengawalseliaan kita untuk mengatasi masalah tersebut. Perlindungan privasi sederhana yang bergantung pada mendapatkan persetujuan individu untuk membolehkan data diambil dan digunakan semula oleh syarikat tidak dapat dipisahkan dari hasil diskriminasi dari penggunaan tersebut. Ini benar terutama pada era ketika kebanyakan kita (termasuk syarikat teknologi sendiri) tidak dapat memahami sepenuhnya apa yang dilakukan algoritma atau mengapa mereka menghasilkan hasil yang spesifik.

Privasi adalah hak manusia

Sebahagian daripada penyelesaiannya melibatkan pemecahan silo peraturan semasa yang memperlakukan privasi dan hak asasi manusia sebagai isu yang terpisah. Mengandalkan model perlindungan data berdasarkan persetujuan akan bertentangan dengan prinsip asas bahawa privasi dan kesaksamaan adalah hak asasi manusia yang tidak boleh dikontrak.

Malah Piagam Digital Kanada - percubaan terbaru kerajaan persekutuan untuk menanggapi kekurangan keadaan persekitaran digital semasa - mengekalkan perbezaan konsep ini. Ini memperlakukan kebencian dan ekstremisme, kawalan dan persetujuan, dan demokrasi yang kuat sebagai kategori yang terpisah.

Untuk mengatasi diskriminasi algoritmik, kita mesti mengenali dan membingkai privasi dan persamaan sebagai hak asasi manusia. Dan kita mesti membuat infrastruktur yang sama-sama diberi perhatian dan pakar dalam kedua-duanya. Tanpa usaha seperti itu, kilauan matematik dan sains akan terus menyamarkan kecenderungan diskriminasi AI, dan travesties seperti yang ditimbulkan oleh Williams diharapkan dapat berlipat ganda.Perbualan

Mengenai Pengarang

Jane Bailey, Profesor Undang-Undang dan Pemimpin Bersama Projek eQuality, L'Université d'Ottawa / Universiti Ottawa; Jacquelyn Burkell, Naib Presiden Bersekutu, Penyelidikan, Universiti Barat, dan Valerie Steeves, Profesor Penuh, L'Université d'Ottawa / Universiti Ottawa

Artikel ini diterbitkan semula daripada Perbualan di bawah lesen Creative Commons. Membaca artikel asal.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

ikuti InnerSelf pada

icon-facebooktwitter-iconrss-icon

Dapatkan Yang Terbaru Dengan E-mel

{Emailcloak = mati}

Sokongan Pekerjaan yang Baik!

DARIPADA EDITOR

Surat Berita InnerSelf: Oktober 18, 2020
by Kakitangan InnerSelf
Hari-hari ini kita tinggal di gelembung mini ... di rumah kita sendiri, di tempat kerja, dan di tempat awam, dan mungkin dalam fikiran kita sendiri dan dengan emosi kita sendiri. Namun, hidup dalam gelembung, atau merasa seperti kita…
Surat Berita InnerSelf: Oktober 11, 2020
by Kakitangan InnerSelf
Hidup adalah perjalanan dan, seperti kebanyakan perjalanan, datang dengan turun naiknya. Dan seperti hari selalu mengikuti malam, begitu juga pengalaman harian kita dari gelap ke cahaya, dan pergi dan balik. Walau bagaimanapun,…
Surat Berita InnerSelf: Oktober 4, 2020
by Kakitangan InnerSelf
Apa sahaja yang kita lalui, baik secara individu dan kolektif, kita mesti ingat bahawa kita bukan mangsa yang tidak berdaya. Kita dapat merebut kembali kekuatan kita untuk mengukir jalan kita sendiri dan menyembuhkan hidup kita, secara rohani…
Surat Berita InnerSelf: September 27, 2020
by Kakitangan InnerSelf
Salah satu kekuatan besar umat manusia adalah kemampuan kita untuk bersikap fleksibel, kreatif, dan berfikir di luar kotak. Untuk menjadi orang lain daripada kami semalam atau sehari sebelumnya. Kita boleh mengubah ... ...
Apa Yang Berfungsi Bagi Saya: "Untuk Yang Paling Tinggi"
by Marie T. Russell, InnerSelf
Sebab saya berkongsi "apa yang sesuai untuk saya" adalah kerana ia juga berfungsi untuk anda. Sekiranya tidak seperti yang saya lakukan, kerana kita semua unik, beberapa perbezaan sikap atau kaedah mungkin menjadi sesuatu yang…