Bagaimana Teknologi Pengecaman Muka Cacat dan Bias Secara Perkauman
Algoritma pengecaman wajah biasanya diuji menggunakan wajah putih, yang mengakibatkan teknologi tidak dapat membezakan antara individu perkauman. (Shutterstock)

Polis Detroit secara salah menangkap Robert Julian-Borchak Williams pada Januari 2020 untuk kejadian pencurian kedai yang berlaku dua tahun sebelumnya. Walaupun Williams tidak ada kaitan dengan kejadian itu, teknologi pengecaman wajah yang digunakan oleh Michigan State Police "memadankan" wajahnya dengan gambar kasar yang diperoleh dari sebuah video pengawasan di dalam kedai yang menunjukkan seorang lelaki Afrika Amerika lain mengambil jam tangan bernilai AS $ 3,800.

Dua minggu kemudian, kes itu ditolak atas permintaan pendakwaan. Namun, bergantung pada pertandingan yang salah, polisi sudah memborgol dan menangkap Williams di depan keluarganya, memaksanya memberikan tembakan cangkir, sidik jari dan sampel DNAnya, menyoal siasat dan memenjarakannya semalaman.

Pakar menunjukkan bahawa Williams tidak sendirian, dan yang lain telah mengalami ketidakadilan yang serupa. Kontroversi yang berterusan mengenai penggunaan Clearview AI oleh polis tentunya menekankan risiko privasi yang ditimbulkan oleh teknologi pengecaman wajah. Tetapi penting untuk menyedari itu tidak semua kita menanggung risiko itu sama.

Melatih algoritma perkauman

Teknologi pengecaman wajah yang dilatih dan disesuaikan dengan wajah Kaukasia secara sistematik menyalahtafsirkan dan menyalahgunakan individu yang diperkosa: banyak kajian melaporkan bahawa teknologi pengecaman wajah adalah “cacat dan berat sebelah, dengan kadar ralat yang jauh lebih tinggi apabila digunakan terhadap orang yang berwarna"


grafik langganan dalaman


ini merosakkan keperibadian dan kemanusiaan orang yang berbaur perkauman yang lebih cenderung disalah anggap sebagai penjenayah. Teknologi - dan kesalahan pengenalpastian yang dibuatnya - mencerminkan dan menambahkan lagi perpecahan sosial yang telah lama terjerat dengan perkauman, seksisme, homofobia, penjajah-penjajah dan penindasan bersilang lain.

{vembed Y = vSuDE6wvQlU}
Penyiasatan France24 mengenai bias perkauman dalam teknologi pengecaman wajah.

Bagaimana teknologi mengkategorikan pengguna

Dalam buku 1993 yang mengubah permainannya, Jenis Panoptic, sarjana Oscar Gandy memperingatkan bahawa "teknologi kompleks [yang] melibatkan pengumpulan, pemprosesan dan perkongsian maklumat mengenai individu dan kumpulan yang dihasilkan melalui kehidupan seharian mereka ... digunakan untuk menyelaraskan dan mengawal akses mereka ke barang dan perkhidmatan yang menentukan kehidupan di ekonomi kapitalis moden. " Penguatkuasaan undang-undang menggunakannya untuk mencuri suspek dari masyarakat umum, dan organisasi swasta menggunakannya untuk menentukan sama ada kita mempunyai akses kepada perkara-perkara seperti perbankan and pekerjaan.

Gandy secara nubuat memperingatkan bahawa, jika tidak diperiksa, bentuk "cybernetic triage" ini secara eksponensial akan merugikan anggota masyarakat yang mencari kesaksamaan - misalnya, kumpulan yang diperkosa atau tidak bersosio-ekonomi - baik dari segi apa yang akan diperuntukkan kepada mereka dan bagaimana mereka dapat memahami diri mereka sendiri.

Kira-kira 25 tahun kemudian, kita sekarang hidup dengan ubat panoptic steroid. Dan contoh kesan negatifnya terhadap masyarakat yang mencari persamaan banyak, seperti pengenalan palsu terhadap Williams.

Bias yang ada sebelumnya

Penyortiran ini menggunakan algoritma menyusup ke aspek-aspek yang paling asas dalam kehidupan seharian, yang menimbulkan kekerasan langsung dan struktural.

Keganasan langsung yang dialami oleh Williams segera terlihat dalam peristiwa-peristiwa seputar penangkapan dan penahanannya, dan bahaya individu yang dialaminya jelas dan dapat ditelusuri oleh tindakan polis yang memilih untuk bergantung pada "pertandingan" teknologi untuk melakukan penangkapan. Lebih berbahaya adalah keganasan struktur dilakukan melalui teknologi pengecaman wajah dan teknologi digital yang lain menilai, memadankan, mengkategorikan dan menyusun individu dengan cara yang dapat memperbesar corak diskriminasi yang sudah ada.

Kerosakan keganasan struktur kurang jelas dan tidak langsung, dan menyebabkan kecederaan kepada kumpulan pencari kesetaraan melalui penolakan kuasa, sumber dan peluang secara sistematik. Pada masa yang sama, ia meningkatkan risiko dan bahaya langsung kepada individu anggota kumpulan tersebut.

Penggunaan polisi yang boleh diramal pemprosesan algoritma data sejarah untuk meramalkan kapan dan di mana jenayah baru kemungkinan besar akan berlaku, memberikan sumber polis dengan sewajarnya dan menanamkan pengawasan polis yang lebih baik ke dalam masyarakat, biasanya di kawasan berpendapatan rendah dan berbangsa. Ini meningkatkan kemungkinan bahawa setiap aktiviti jenayah - termasuk aktiviti jenayah yang kurang serius yang mungkin tidak memberi tindak balas polis - akan dikesan dan dihukum, akhirnya akan membatasi peluang hidup orang yang tinggal di dalam lingkungan itu.

Dan bukti ketidaksamaan di sektor lain terus meningkat. Ratusan pelajar di United Kingdom membuat tunjuk perasaan pada 16 Ogos terhadap keputusan bencana dari Sudah tentu, algoritma cacat yang digunakan kerajaan Inggeris untuk menentukan pelajar mana yang layak untuk memasuki universiti. Pada tahun 2019, perkhidmatan iklan pemasaran mikro Facebook menolong puluhan majikan sektor awam dan swasta mengecualikan orang daripada menerima iklan pekerjaan berdasarkan umur dan jantina. Penyelidikan yang dilakukan oleh ProPublica telah mendokumentasikan diskriminasi harga berdasarkan kaum untuk produk dalam talian. Dan mesin carian kerap menghasilkan hasil perkauman dan seksis.

Mengabadikan penindasan

Hasil ini penting kerana mereka mengabadikan dan memperdalam ketaksamaan yang sudah ada berdasarkan ciri-ciri seperti bangsa, jantina dan usia. Mereka juga penting kerana mereka sangat mempengaruhi bagaimana kita mengenal diri kita dan dunia di sekeliling kita, kadang-kadang oleh pra-memilih maklumat kami menerima dengan cara yang memperkuatkan persepsi stereotaip. Malah syarikat teknologi sendiri mengakui mendesak menghentikan algoritma daripada mengabadikan diskriminasi.

Sehingga kini kejayaan penyelidikan ad hoc, yang dilakukan oleh syarikat teknologi itu sendiri, tidak konsisten. Kadang-kadang, syarikat yang terlibat dalam menghasilkan sistem diskriminasi menariknya dari pasaran, seperti ketika Clearview AI mengumumkan tidak akan lagi menawarkan teknologi pengecaman wajah di Kanada. Tetapi selalunya keputusan seperti itu berlaku dari pemeriksaan peraturan atau kemarahan masyarakat sahaja selepas anggota komuniti yang mencari persamaan telah dicederakan.

Sudah waktunya untuk memberi alat yang diperlukan oleh institusi pengawalseliaan kita untuk mengatasi masalah tersebut. Perlindungan privasi sederhana yang bergantung pada mendapatkan persetujuan individu untuk membolehkan data diambil dan digunakan semula oleh syarikat tidak dapat dipisahkan dari hasil diskriminasi dari penggunaan tersebut. Ini benar terutama pada era ketika kebanyakan kita (termasuk syarikat teknologi sendiri) tidak dapat memahami sepenuhnya apa yang dilakukan algoritma atau mengapa mereka menghasilkan hasil yang spesifik.

Privasi adalah hak manusia

Sebahagian daripada penyelesaiannya melibatkan pemecahan silo peraturan semasa yang memperlakukan privasi dan hak asasi manusia sebagai isu yang terpisah. Mengandalkan model perlindungan data berdasarkan persetujuan akan bertentangan dengan prinsip asas bahawa privasi dan kesaksamaan adalah hak asasi manusia yang tidak boleh dikontrak.

Malah Piagam Digital Kanada - percubaan terbaru kerajaan persekutuan untuk menanggapi kekurangan keadaan persekitaran digital semasa - mengekalkan perbezaan konsep ini. Ini memperlakukan kebencian dan ekstremisme, kawalan dan persetujuan, dan demokrasi yang kuat sebagai kategori yang terpisah.

Untuk mengatasi diskriminasi algoritmik, kita mesti mengenali dan membingkai privasi dan persamaan sebagai hak asasi manusia. Dan kita mesti membuat infrastruktur yang sama-sama diberi perhatian dan pakar dalam kedua-duanya. Tanpa usaha seperti itu, kilauan matematik dan sains akan terus menyamarkan kecenderungan diskriminasi AI, dan travesties seperti yang ditimbulkan oleh Williams diharapkan dapat berlipat ganda.Perbualan

Mengenai Pengarang

Jane Bailey, Profesor Undang-Undang dan Pemimpin Bersama Projek eQuality, L'Université d'Ottawa / Universiti Ottawa; Jacquelyn Burkell, Naib Presiden Bersekutu, Penyelidikan, Universiti Barat, dan Valerie Steeves, Profesor Penuh, L'Université d'Ottawa / Universiti Ottawa

Artikel ini diterbitkan semula daripada Perbualan di bawah lesen Creative Commons. Membaca artikel asal.

Buku tentang Ketaksamaan daripada senarai Penjual Terbaik Amazon

"Kasta: Asal-usul Ketidakpuasan Kita"

oleh Isabel Wilkerson

Dalam buku ini, Isabel Wilkerson mengkaji sejarah sistem kasta dalam masyarakat di seluruh dunia, termasuk di Amerika Syarikat. Buku ini meneroka kesan kasta terhadap individu dan masyarakat, dan menawarkan rangka kerja untuk memahami dan menangani ketidaksamaan.

Klik untuk maklumat lanjut atau untuk memesan

"Warna Undang-undang: Sejarah Terlupa tentang Bagaimana Kerajaan Kita Mengasingkan Amerika"

oleh Richard Rothstein

Dalam buku ini, Richard Rothstein meneroka sejarah dasar kerajaan yang mencipta dan memperkukuh pengasingan kaum di Amerika Syarikat. Buku ini mengkaji kesan dasar ini terhadap individu dan komuniti, dan menawarkan seruan untuk bertindak untuk menangani ketidaksamaan yang berterusan.

Klik untuk maklumat lanjut atau untuk memesan

"Jumlah Kami: Apakah Kos Perkauman Semua Orang dan Bagaimana Kita Boleh Berjaya Bersama"

oleh Heather McGhee

Dalam buku ini, Heather McGhee meneroka kos ekonomi dan sosial perkauman, dan menawarkan visi untuk masyarakat yang lebih saksama dan makmur. Buku ini merangkumi kisah individu dan komuniti yang telah mencabar ketidaksamaan, serta penyelesaian praktikal untuk mewujudkan masyarakat yang lebih inklusif.

Klik untuk maklumat lanjut atau untuk memesan

"Mitos Defisit: Teori Monetari Moden dan Kelahiran Ekonomi Rakyat"

oleh Stephanie Kelton

Dalam buku ini, Stephanie Kelton mencabar idea konvensional tentang perbelanjaan kerajaan dan defisit negara, dan menawarkan rangka kerja baharu untuk memahami dasar ekonomi. Buku ini termasuk penyelesaian praktikal untuk menangani ketidaksamaan dan mewujudkan ekonomi yang lebih saksama.

Klik untuk maklumat lanjut atau untuk memesan

"The New Jim Crow: Pemenjaraan Beramai-ramai di Zaman Buta Warna"

oleh Michelle Alexander

Dalam buku ini, Michelle Alexander meneroka cara sistem keadilan jenayah mengekalkan ketidaksamaan dan diskriminasi kaum, khususnya terhadap warga kulit hitam Amerika. Buku ini termasuk analisis sejarah sistem dan kesannya, serta seruan untuk bertindak untuk pembaharuan.

Klik untuk maklumat lanjut atau untuk memesan