Dalam sistem keadilan jenayah, pasaran kredit, arena pekerjaan, proses kemasukan pendidikan tinggi dan bahkan rangkaian media sosial, algoritma berasaskan data kini memandu membuat keputusan dengan cara yang menyentuh kehidupan ekonomi, sosial dan sivik kita. Sistem perisian ini mempunyai kedudukan, klasifikasi, bersekutu atau menyaring maklumat, menggunakan peraturan yang dibuat oleh manusia atau data yang menyebabkan rawatan konsisten di seluruh populasi besar.

Tetapi sementara mungkin keuntungan kecekapan dari teknik ini, mereka juga boleh pelabuhan berat sebelah terhadap kumpulan yang kurang bernasib baik or menguatkan diskriminasi struktur. Dari segi keadilan pidana, misalnya, apakah wajar untuk membuat penilaian pada pembebasan individu berdasarkan kecenderungan statistik yang diukur di seluruh kelompok orang? Bolehkah diskriminasi timbul daripada menggunakan model statistik dibangunkan untuk satu populasi negara kepada yang lain, penduduk yang demografi berbeza?

Orang ramai perlu memahami kecenderungan dan kekuatan algoritma yang digunakan dalam bidang awam, termasuk oleh agensi kerajaan. Usaha yang saya terlibat dengan, dipanggil akauntabiliti algoritmik, bertujuan untuk menjadikan pengaruh sistem tersebut lebih jelas dan lebih banyak dipahami.

Teknik ketelusan yang sedia ada, apabila digunakan untuk algoritma, dapat membolehkan orang ramai memantau, mengaudit dan mengkritik bagaimana sistem berfungsi - atau tidak, mengikut mana-mana yang berkenaan. Malangnya, agensi kerajaan seolah-olah tidak bersedia untuk membuat pertanyaan tentang algoritma dan kegunaan mereka dalam keputusan yang memberi kesan besar kepada individu dan orang awam secara keseluruhan.

Algoritma pembukaan untuk pengawasan awam

Tahun lepas Kerajaan persekutuan mula belajar kebaikan dan keburukan menggunakan analisis data berkomputer untuk membantu menentukan kemungkinan tahanan banduan untuk melepaskan diri apabila dibebaskan. Menentukan individu sebagai rendah, sederhana, atau berisiko tinggi boleh membantu keputusan perumahan dan rawatan, mengenal pasti orang yang selamat dihantar ke penjara sekurang-kurangnya sekurang-kurangnya "rumah separuh jalan" atau yang akan mendapat manfaat daripada jenis tertentu penjagaan psikologi.

Maklumat itu boleh menjadikan proses keadilan lebih efisien dan lebih murah, dan bahkan mengurangkan penjara penjara. Merawat pesalah berisiko rendah seperti pelanggar risiko tinggi telah ditunjukkan dalam beberapa kajian untuk membawa mereka menjadi dalaman jenayah "sakit" dan memerlukan rawatan untuk tingkah laku mereka yang menyimpang. Memisahkan mereka boleh mengurangkan perkembangan tingkah laku negatif yang akan membawa kepada keterlanjuran apabila dibebaskan.

Data dan algoritma untuk menjaringkan risiko penghisap penghuni neraka sudah pun digunakan secara meluas oleh negeri-negeri untuk menguruskan pretrial tahanan, percubaan, parol dan juga hukuman. Tetapi mudah bagi mereka untuk tidak disedari - mereka sering kelihatan seperti kertas kerja birokrasi yang tidak sedap.

Biasanya algoritma direbus ke lembaran skor yang mudah dipenuhi oleh kakitangan awam dengan sedikit pemahaman tentang pengiraan yang mendasari. Sebagai contoh, pekerja kes boleh menilai seorang banduan menggunakan borang di mana pekerja kes menandakan bahawa banduan itu telah disabitkan dengan jenayah ganas, masih muda pada masa penangkapan pertama, dan belum lulus dari sekolah menengah atau mendapat GED. Faktor-faktor dan ciri-ciri lain mengenai orang dan jenayah itu menghasilkan skor yang menunjukkan sama ada tahanan boleh layak untuk semakan parol.

Bentuk itu sendiri, serta sistem penilaiannya, sering mendedahkan ciri-ciri utama mengenai algoritma, seperti pembolehubah yang sedang dipertimbangkan dan bagaimana mereka bersama-sama membentuk skor risiko keseluruhan. Tetapi apa yang penting juga untuk ketelusan algoritma adalah untuk mengetahui bagaimana bentuk sedemikian telah direka, dibangunkan dan dinilai. Hanya boleh orang ramai mengetahui sama ada faktor dan pengiraan yang terlibat dalam mencapai skor adalah adil dan munasabah, atau tidak diketahui dan berat sebelah.

Menggunakan Akta Kebebasan Maklumat

Alat utama kami untuk mendapatkan tangan kami pada bentuk-bentuk itu, dan bahan pendukung mereka, adalah undang-undang, dan khususnya, kebebasan undang-undang maklumat. Mereka adalah antara mekanisma yang paling kuat yang orang awam ada untuk memastikan ketelusan dalam kerajaan. Di peringkat persekutuan, Akta Kebebasan Maklumat (FOIA) membolehkan orang ramai meminta secara rasmi - dan mengharapkan untuk menerima balasan - dokumen dari kerajaan persekutuan. Ketetapan analog wujud untuk setiap negeri.

Ditetapkan di 1966, FOIA telah diwujudkan sebelum penggunaan komputasi yang meluas, dan sebelum ramalan data besar rutin digunakan dalam sistem perisian untuk menguruskan individu dan membuat ramalan. Terdapat beberapa penyelidikan awal sama ada FOIA dapat memudahkan pendedahan kod sumber perisian. Namun, persoalannya adalah sama ada undang-undang semasa adalah responsif terhadap keperluan abad 21 abad: bolehkah kita algoritma FOIA?

Kajian kes dalam ketelusan algoritma

Saya berikan untuk menjawab soalan ini di Kolej Kewartawanan Philip Merrill di Universiti Maryland, di mana saya seorang penolong profesor. Pada musim gugur 2015, bekerja dengan rakan sekerja saya kelas undang-undang Sandy Banisky, kami membimbing pelajar untuk menghantar permintaan FOIA kepada setiap negara 50. Kami meminta dokumen, huraian matematik, data, penilaian pengesahan, kontrak dan kod sumber yang berkaitan dengan algoritma yang digunakan dalam keadilan jenayah, seperti untuk pembebasan dan percobaan, keputusan jaminan atau hukuman.

Sebagai projek semester, usaha itu semestinya dikekang oleh masa, dengan banyak rintangan dan sedikit kejayaan. Seperti banyak siasatan wartawan, walaupun memikirkan siapa yang akan ditanya - dan bagaimana - adalah satu cabaran. Agensi-agensi yang berbeza mungkin bertanggungjawab untuk bidang-bidang yang berbeza sistem keadilan jenayah (hukuman boleh dilakukan oleh mahkamah, tetapi pengurusan parol dilakukan oleh Jabatan Pembetulan).

Walaupun selepas mengenal pasti orang yang betul, pelajar mendapati pegawai kerajaan menggunakan istilah yang berbeza yang membuatnya sukar untuk menyampaikan maklumat apa yang mereka mahu. Pada masa-masa, pelajar terpaksa bekerja keras untuk menerangkan "algoritma keadilan jenayah" kepada penjawat awam yang tidak begitu bijak data. Secara retrospektif, ia mungkin lebih berkesan untuk meminta "alat penilaian risiko," kerana istilah ini sering digunakan oleh kerajaan negeri.

Mengendalikan jawapan

Sesetengah negeri, seperti Colorado, menolak keluar permintaan kami, mengatakan bahawa algoritma terkandung dalam perisian, yang tidak dianggap sebagai "dokumen" yang membuka undang-undang kerajaan yang diperlukan oleh pegawai untuk umum. Negeri-negeri yang berlainan mempunyai peraturan yang berbeza mengenai pendedahan penggunaan perisian. Ini kadang-kadang muncul di mahkamah, seperti 2004 saman terhadap bandar Detroit sama ada formula untuk mengira yuran air yang dikenakan ke sebuah bandar bersebelahan harus diumumkan kepada umum.

Dalam usaha kita sendiri, kita hanya menerima satu huraian matematik mengenai algoritma keadilan jenayah: didedahkan oleh Oregon pembolehubah 16 dan berat mereka dalam model yang digunakan di sana untuk meramalkan recidivism. Negara Dakota Utara mengeluarkan spreadsheet Excel yang memperlihatkan persamaan yang digunakan untuk menentukan tanggal apabila penghuni akan layak dipertimbangkan untuk pembebasan. Dari Idaho dan New Mexico kami menerima dokumen-dokumen dengan beberapa deskripsi mengenai penilaian risiko residivisme yang digunakan oleh negara-negara tersebut, tetapi tidak ada butiran tentang bagaimana mereka dibangunkan atau disahkan.

Sembilan menyatakan berdasarkan keengganan mereka untuk mendedahkan butiran mengenai algoritma keadilan jenayah mereka atas tuntutan bahawa maklumat itu benar-benar dimiliki oleh sebuah syarikat. Implikasi ini adalah bahawa melepaskan algoritma akan merosakkan firma yang membangunkannya. Kuesioner risiko residivisme biasa, yang dipanggil LSI-R, ternyata menjadi produk komersil, dilindungi oleh hak cipta. Negeri-negeri seperti Hawaii dan Maine mendakwa bahawa menghalang pendedahannya kepada orang ramai.

Louisiana berkata kontraknya dengan pemaju teknik penilaian risiko baru menghalang pembebasan maklumat yang diminta selama enam bulan. Negeri Kentucky memetik kontraknya dengan a asas dermawan sebagai sebab ia tidak dapat mendedahkan lebih banyak maklumat. Kebimbangan mengenai maklumat proprietari mungkin sah, tetapi memandangkan kerajaan secara rutin berkontrak dengan syarikat swasta, bagaimana kita mengimbangi kebimbangan mereka terhadap sistem keadilan yang jelas dan benar?

Membuat penambahbaikan

Pembaharuan FOIA yang sangat diperlukan adalah kini sedang dibincangkan oleh Kongres. Ini memberi peluang kepada undang-undang untuk dimodenkan, tetapi perubahan yang dicadangkan masih sedikit untuk menampung penggunaan algoritma yang semakin meningkat dalam kerajaan. Maklumat ketelusan algoritma mungkin dikodkan kepada laporan bahawa kerajaan menjana dan membuat orang awam secara tetap, sebagai sebahagian daripada perniagaan seperti biasa.

Sebagai sebuah masyarakat kita harus menghendaki pegawai-pegawai maklumat awam dilatih supaya mereka celik dan memang fasih dalam istilah yang mereka hadapi ketika orang ramai meminta algoritma. Kerajaan persekutuan juga mungkin membuat kedudukan baru untuk "algoritma czar," sebuah ombudsman yang tugasnya adalah untuk berkomunikasi dan bertanya bidang ke dalam automasi kerajaan.

Tiada dokumen yang kami terima dalam penyelidikan kami memberitahu kami bagaimana bentuk penilaian risiko keadilan jenayah telah dibangunkan atau dinilai. Oleh kerana algoritma menguasai lebih banyak kehidupan kita, rakyat perlu - dan mesti menuntut - lebih ketelusan.

Tentang Pengarang

Nicholas Diakopoulos, Tow Fellow, Pusat Tow untuk Jurnalisme Digital di Columbia University; Penolong Profesor Kewartawanan, University of Maryland. Penyelidikannya dalam kewartawanan komputasi dan data dengan penekanan terhadap akauntabiliti algoritmik, visualisasi data naratif, dan pengkomputeran sosial dalam berita.

Artikel ini pada asalnya diterbitkan pada Perbualan. Membaca artikel asal.

Buku-buku yang berkaitan

at InnerSelf Market dan Amazon