Amazon baru-baru ini mula menawarkan penghantaran yang sama di kawasan metropolitan terpilih. Ini mungkin baik untuk ramai pelanggan, tetapi pelancarannya menunjukkan bagaimana membuat keputusan berkomputer juga boleh menyampaikan denyutan diskriminasi yang kuat.

Sudah tentu, syarikat itu memulakan perkhidmatannya di kawasan-kawasan di mana kos penghantaran akan paling rendah, dengan mengenal pasti kod ZIP tempat padat penduduk di rumah kepada ramai pelanggan Amazon sedia ada dengan tahap pendapatan yang cukup tinggi untuk membuat pembelian produk yang kerap tersedia untuk penyerahan hari yang sama. Syarikat itu menyediakan laman web yang membiarkan pelanggan memasukkan kod ZIP mereka untuk melihat apakah penghantaran yang sama melayani mereka. Wartawan penyiasat di Bloomberg News menggunakan halaman itu untuk membuat peta kawasan perkhidmatan Amazon untuk penghantaran hari yang sama.

Analisis Bloomberg mendedahkan bahawa banyak kawasan bandar yang miskin dikecualikan dari kawasan perkhidmatan, manakala kawasan jiran yang lebih mewah dimasukkan. Kebanyakan kawasan miskin yang dikecualikan itu diduduki oleh minoriti. Sebagai contoh, semua Boston dilindungi kecuali untuk Roxbury; Liputan New York City merangkumi hampir kesemua empat borough tetapi sepenuhnya tidak termasuk Bronx; Perlindungan Chicago meninggalkan South Side yang miskin, sambil memanjangkan sebahagian besarnya ke pinggiran utara dan barat yang mewah.

Walaupun ia menggoda untuk mempercayai keputusan yang didorong data adalah tidak berat sebelah, penyelidikan dan perbincangan ilmiah mula membuktikannya ketidakadilan dan diskriminasi kekal. Dalam saya kursus dalam talian mengenai etika data, pelajar belajar bahawa algoritma boleh mendiskriminasi. Tetapi mungkin terdapat sedikit lapisan perak: Seperti yang dicadangkan oleh Bloomberg, keputusan berdasarkan data mungkin juga memudahkan untuk mengesan apabila bias muncul.

Bias boleh tidak disengajakan

Ketidaksabar seperti itu dalam dasar penghantaran Amazon boleh timbul kerana banyak sebab, termasuk bias tersembunyi - seperti andaian bahawa populasi diedarkan secara seragam. Pereka algoritma mungkin tidak berniat untuk mendiskriminasi, dan mungkin tidak menyedari masalah telah meresap.

Amazon memberitahu Bloomberg ia tidak mempunyai niat diskriminasi, dan ada sebab untuk mempercayai tuntutan itu. Sebagai tindak balas kepada laporan Bloomberg, bandar pegawai and ahli politik lain memanggil Amazon untuk menyelesaikan masalah ini. Syarikat bergerak pantas untuk menambah yang asalnya dikeluarkan kod ZIP bandar miskin ke kawasan perkhidmatannya.

Soalan yang sama telah tanya Uber, yang nampaknya memberikan perkhidmatan yang lebih baik kepada kawasan yang didiami oleh perkadaran yang lebih tinggi orang kulit putih. Ia mungkin akan terdapat lebih banyak contoh industri runcit dan perkhidmatan diskriminasi algoritme yang tidak disengajakan pada masa akan datang.

Meminta terlalu banyak algoritma?

Kita harus berhenti sebentar untuk mempertimbangkan sama ada kita memerlukan keputusan algoritma yang terlalu mendesak. Syarikat-syarikat yang mengendalikan kedai-kedai bata dan mortar membuat keputusan lokasi sepanjang masa, dengan mengambil kriteria yang tidak berbeza dari Amazon. Kedai-kedai cuba untuk mempunyai lokasi yang mudah untuk kolam besar pelanggan berpotensi dengan wang untuk dibelanjakan.

Akibatnya, beberapa kedai memilih untuk mencari di kawasan kejiranan dalaman yang miskin. Terutama dalam konteks kedai runcit, fenomena ini telah dikaji secara meluas, dan istilah "makanan padang pasir"Telah digunakan untuk menggambarkan kawasan bandar yang penduduknya tidak mempunyai akses mudah ke makanan segar. Ini kecenderungan lokasi kurang dipelajari untuk kedai runcit secara keseluruhan.

Sebagai contoh yang menunjukkan, saya melihat lokasi Sasaran 55 Michigan, rantaian runcit yang menyeluruh. Apabila saya menyusun setiap kod ZIP Michigan berdasarkan sama ada pendapatan purata berada di separuh bahagian atas atau bahagian bawah separuh seluruh negara, saya mendapati bahawa hanya 16 kedai Sasaran (29 peratus) berada dalam kod ZIP dari kumpulan pendapatan rendah. Lebih daripada dua kali lebih banyak, kedai-kedai 39, terletak di kod ZIP dari separuh yang lebih mewah.

Mengenal pasti diskriminasi

Selain itu, tiada kedai Sasaran di bandar Detroit, walaupun terdapat beberapa di pinggirannya (lebih kaya). Namun tidak ada bantahan popular yang mendakwa Sasaran mendiskriminasikan tidak adil terhadap orang miskin di dalam keputusan lokasi kedainya. Terdapat dua sebab utama kebimbangan tentang Amazon adalah wajar: ketegaran dan dominasi.

Ketegaran ada kaitan dengan kedua-dua proses membuat keputusan peruncit dalam talian dan hasilnya. Amazon memutuskan kod ZIP di kawasan servisnya. Sekiranya pelanggan tinggal di seberang jalan dari sempadan yang ditetapkan oleh Amazon, dia berada di luar kawasan perkhidmatan dan boleh melakukan sedikit perkara mengenainya. Sebaliknya, seseorang yang tinggal dalam kod ZIP tanpa kedai Sasaran masih boleh berbelanja di Sasaran - walaupun mungkin lebih lama untuk sampai ke sana.

Ia juga penting bagaimana peruncit dominan berada dalam fikiran pengguna. Sedangkan Sasaran adalah hanya satu daripada banyak rantai kedai fizikal, Amazon menikmati dominasi pasaran sebagai peruncit web, dan dengan itu menarik lebih banyak perhatian. Penguasaan seperti ini adalah ciri hari ini pemenang-mengambil-semua perniagaan web.

Walaupun ketegaran dan dominasi mereka boleh menyebabkan kita lebih prihatin tentang perniagaan dalam talian, kami juga lebih mampu mengesan diskriminasi mereka daripada kami untuk kedai-kedai batu bata dan-mortar. Untuk kedai rantaian tradisional, kita perlu meneka sejauh mana pengguna bersedia untuk melakukan perjalanan. Kita mungkin juga perlu menyedari masa: Lima batu ke pintu masuk jalan raya seterusnya tidak sama dengan lima kilometer melalui jalan-jalan yang padat ke bahagian lain bandar. Selain itu, masa perjalanan itu sendiri boleh berbeza-beza bergantung pada masa siang. Selepas mengenal pasti kawasan yang kemungkinan kedai berfungsi, mereka tidak boleh memetakan dengan kemas ke dalam unit geografi yang mana kita mempunyai statistik mengenai kaum atau pendapatan. Singkatnya, analisisnya adalah kemas dan memerlukan banyak usaha.

Sebaliknya, ia akan membawa wartawan di Bloomberg hanya beberapa jam untuk membangunkan peta kawasan perkhidmatan Amazon dan menghubungkannya dengan pendapatan atau perlumbaan. Sekiranya Amazon telah melakukan ini secara dalaman, mereka boleh melakukan analisis yang sama dalam beberapa minit sahaja - dan mungkin menyedari masalah dan membetulkannya sebelum perkhidmatan yang sama juga bermula.

Bagaimana cara membandingkan manusia?

Marilah kita melihat contoh yang sangat berbeza untuk melihat bagaimana mata yang sama digunakan secara meluas. Baru-baru ini, ProPublica diterbitkan analisis yang sangat baik terhadap diskriminasi kaum dengan algoritma yang meramalkan kemungkinan jenayah menyerang lagi. Algoritma ini mempertimbangkan berpuluh-puluh faktor dan mengira anggaran kebarangkalian. Analisis ProPublica mendapati kecenderungan perkauman yang sistematik yang ketara, walaupun bangsa bukanlah faktor yang dipertimbangkan.

Tanpa algoritma, seorang hakim manusia akan membuat anggaran yang sama, sebagai sebahagian daripada hukuman atau keputusan parol. Keputusan manusia mungkin mempertimbangkan faktor-faktor yang lebih kaya, seperti sikap mahkamah jenayah. Tetapi kita tahu, dari kajian dalam psikologi, Yang pengambilan keputusan manusia penuh dengan berat sebelah, walaupun kita berusaha sebaik mungkin untuk bersikap adil.

Tetapi apa-apa kesilapan yang timbul akibat keputusan berat sebelah dalam keputusan hakim manusia mungkin berbeza di kalangan hakim, dan juga untuk keputusan yang berbeza yang dibuat oleh hakim yang sama. Dalam agregat, mungkin terdapat diskriminasi kaum disebabkan oleh bias bawah sedar, tetapi mewujudkan ini secara rumit adalah rumit. Kajian Jabatan Keadilan AS mendapati bukti kukuh jurang perbezaan dalam hukuman penjara putih dan hitam, tetapi tidak dapat menentukan sama ada kaum itu sendiri adalah faktor dalam keputusan itu.

Sebaliknya, algoritma ProPublica yang sama dengan algoritma yang sama digunakan dalam ribuan kes di banyak negeri. Ketegarannya, dan jumlah yang besar, memudahkan tugas menentukan jika ia mendiskriminasikan - dan boleh menawarkan cara untuk membetulkan masalah dengan lebih baik.

Penggunaan teknologi maklumat seolah-olah membuat garis yang lebih cerah, perbezaan yang lebih jelas dan data mengenai semua ini lebih mudah didapati. Apa yang boleh dibongkar di bawah permaidani semalam, kini mengerikan untuk perhatian. Seperti yang kita dapati lebih banyak kegunaan untuk algoritma yang didorong oleh data, belum biasa untuk menganalisis keadilan mereka, terutamanya sebelum melancarkan perkhidmatan berasaskan data baru. Membuatnya begitu jauh akan mengukur, dan meningkatkan, keadilan pengiraan berkomputer yang semakin penting.

Tentang Pengarang

HV Jagadish, Professor Bernard A Galler Kejuruteraan Elektrik dan Sains Komputer, Universiti Michigan

Artikel ini pada asalnya diterbitkan pada Perbualan. Membaca artikel asal.

Buku-buku yang berkaitan

at InnerSelf Market dan Amazon