Orang yang memohon pinjaman dari bank atau syarikat kad kredit, dan ditolak, mempunyai penjelasan mengapa ini berlaku. Ia adalah idea yang baik - kerana ia dapat membantu mengajar orang bagaimana untuk membaiki kredit yang rosak mereka - dan ia adalah undang-undang persekutuan, Akta Peluang Kredit Sama. Mendapatkan jawapan tidak banyak masalah pada tahun lalu, ketika manusia membuat keputusan itu. Tetapi hari ini, sebagai sistem perisikan buatan semakin membantu atau menggantikan orang yang membuat keputusan kredit, mendapatkan penjelasan itu menjadi lebih sukar.

Secara tradisinya, pegawai pinjaman yang menolak permohonan boleh memberitahu peminjam akan ada masalah dengan tahap pendapatan mereka, atau sejarah pekerjaan, atau apa masalahnya. Tetapi sistem berkomputer yang menggunakan kompleks pembelajaran mesin model sukar untuk dijelaskan, walaupun untuk pakar.

Keputusan kredit pengguna hanyalah salah satu cara timbul masalah ini. Kebimbangan yang sama wujud dalam penjagaan kesihatan, pemasaran dalam talian dan malah keadilan jenayah. Kepentingan saya sendiri dalam bidang ini bermula apabila kumpulan penyelidikan saya adalah sebahagian daripada ditemui kecenderungan gender dalam bagaimana iklan dalam talian disasarkan, tetapi tidak dapat menjelaskan mengapa ia berlaku.

Semua industri, dan banyak lagi, yang menggunakan pembelajaran mesin untuk menganalisis proses dan membuat keputusan hanya sedikit lebih setahun untuk mendapatkan lebih baik menerangkan bagaimana sistem mereka berfungsi. Pada bulan Mei 2018, yang baru Peraturan Perlindungan Data Umum Kesatuan Eropah berkuat kuasa, termasuk seksyen yang memberikan orang hak untuk mendapatkan penjelasan bagi keputusan automatik yang memberi kesan kepada kehidupan mereka. Bentuk apa yang perlu penjelasan ini, dan bolehkah kita memberikannya?

Mengenal pasti sebab utama

Satu cara untuk menjelaskan mengapa keputusan automatik keluar seperti yang dilakukan adalah untuk mengenal pasti faktor-faktor yang paling berpengaruh dalam keputusan itu. Berapakah keputusan penolakan kredit kerana pemohon tidak membuat wang yang mencukupi, atau kerana dia gagal membayar balik pinjaman pada masa lalu?

Kumpulan penyelidikan saya di Carnegie Mellon University, termasuk pelajar PhD Shayak Sen dan kemudian-postdoc Yair Zick mencipta cara untuk mengukur pengaruh relatif daripada setiap faktor. Kami menyebutnya Pengaruh Input Kuantitatif.

Di samping memberi pemahaman yang lebih baik mengenai keputusan individu, pengukuran juga dapat memberi gambaran mengenai kumpulan keputusan: Adakah algoritma menolak kredit terutamanya disebabkan oleh kebimbangan kewangan, seperti berapa banyak pemohon yang telah berhutang hutang lain? Atau adakah kod ZIP pemohon lebih penting â € "mencadangkan demografi lebih asas seperti bangsa mungkin telah bermain?

Menangkap sebab

Apabila sistem membuat keputusan berdasarkan pelbagai faktor, penting untuk mengenal pasti faktor-faktor yang menyebabkan keputusan dan sumbangan relatifnya.

Sebagai contoh, bayangkan sistem keputusan kredit yang mengambil hanya dua input, nisbah hutang kepada pendapatan pemohon dan perlumbaannya, dan telah ditunjukkan untuk meluluskan pinjaman hanya untuk orang kulit putih. Mengetahui sejauh mana faktor yang menyumbang kepada keputusan ini dapat membantu kita memahami sama ada ia adalah sistem yang sah atau sama ada ia membezakan.

Penjelasan hanya dapat melihat input dan hasilnya dan memerhatikan korelasi â € "bukan Kaukasia tidak mendapat pinjaman. Tetapi penjelasan ini terlalu ringkas. Katakan orang bukan Kaukasia yang dinafikan pinjaman juga mempunyai pendapatan yang lebih rendah daripada orang Caucasians yang permohonannya berjaya. Kemudian penjelasan ini tidak dapat memberitahu kami sama ada nisbah pemohon atau hutang kepada pendapatan menyebabkan penafian.

Kaedah kami boleh memberikan maklumat ini. Mengatakan perbezaan bermakna kita boleh mengusik sama ada sistem itu tidak mendiskriminasi atau melihat kriteria yang sah, seperti kewangan pemohon.

Untuk mengukur pengaruh kaum dalam keputusan kredit tertentu, kami mengulangi proses permohonan, menjaga nisbah hutang kepada pendapatan yang sama tetapi mengubah perlumbaan pemohon. Sekiranya mengubah perlumbaan itu menjejaskan hasilnya, kita tahu bahawa bangsa adalah faktor penentu. Jika tidak, kita boleh menyimpulkan bahawa algoritma hanya melihat maklumat kewangan.

Di samping mengenal pasti faktor-faktor yang menjadi punca, kita dapat mengukur pengaruh kaitan relatif mereka terhadap keputusan. Kami melakukannya dengan secara rawak mengubah faktor (misalnya, bangsa) dan mengukur sejauh mana kebiasaannya untuk berubah. Semakin tinggi kemungkinan, semakin besar pengaruh faktor tersebut.

Mengagregatkan pengaruh

Kaedah kami juga boleh menggabungkan pelbagai faktor yang bekerjasama. Pertimbangkan sistem keputusan yang memberi kredit kepada pemohon yang memenuhi dua daripada tiga kriteria: skor kredit di atas 600, pemilikan kereta, dan sama ada pemohon telah membayar balik pinjaman rumah sepenuhnya. Katakanlah seorang pemohon, Alice, dengan skor kredit 730 dan tiada pinjaman kereta atau rumah, ditolak kredit. Dia tertanya-tanya sama ada status pemilikan kereta atau sejarah pembayaran pinjaman rumah adalah alasan utama.

Analogi boleh membantu menjelaskan bagaimana kita menganalisis keadaan ini. Pertimbangkan sebuah mahkamah di mana keputusan dibuat oleh undi majoriti panel tiga hakim, di mana seseorang itu konservatif, satu yang liberal dan yang ketiga undi ayunan, seseorang yang mungkin berpihak kepada mana-mana rakannya. Dalam keputusan konservatif 2-1, hakim swing mempunyai pengaruh yang lebih besar terhadap hasil daripada hakim liberal.

Faktor-faktor dalam contoh kredit kami adalah seperti tiga hakim. Hakim pertama biasanya memilih meminjam pinjaman, kerana banyak pemohon mempunyai skor kredit yang cukup tinggi. Hakim kedua hampir selalu mengundi terhadap pinjaman itu kerana sangat sedikit pemohon yang pernah melunasi rumah. Jadi keputusan itu datang ke hakim swing, yang dalam kasus Alice menolak pinjaman itu kerana dia tidak memiliki kereta.

Kita boleh melakukan penalaran ini tepat dengan menggunakan teori permainan koperasi, satu sistem menganalisis lebih spesifik bagaimana faktor-faktor yang berbeza menyumbang kepada hasil tunggal. Khususnya, kami menggabungkan pengukuran pengaruh pengaruh sebab relatif dengan Nilai Shapley, yang merupakan cara untuk mengira bagaimana mengaitkan pengaruh kepada pelbagai faktor. Bersama-sama, ini membentuk pengukuran Pengaruh Input Kuantitatif kami.

Setakat ini, kami telah menilai kaedah kami pada sistem keputusan yang kami buat dengan melatih algoritma pembelajaran mesin biasa dengan set data dunia sebenar. Menilai algoritma di tempat kerja di dunia nyata adalah topik untuk kerja masa depan.

Cabaran terbuka

Kaedah analisis dan penjelasan tentang bagaimana algoritma membuat keputusan adalah paling berguna dalam tetapan di mana faktor mudah difahami oleh manusia - seperti nisbah hutang kepada pendapatan dan kriteria kewangan lain.

Walau bagaimanapun, menerangkan proses membuat keputusan algoritma yang lebih rumit masih menjadi cabaran penting. Ambil, sebagai contoh, sistem pengenalan imej, seperti yang mengesan dan mengesan tumor. Ia tidak begitu berguna untuk menjelaskan penilaian imej tertentu berdasarkan piksel individu. Idealnya, kami ingin penjelasan yang memberikan gambaran tambahan mengenai keputusan - seperti mengenal pasti ciri tumor khusus dalam imej. Sesungguhnya, mereka bentuk penjelasan untuk tugas membuat keputusan automatik itu adalah menjaga banyak penyelidik sibuk.

Tentang Pengarang

Anupam Datta, Profesor Madya Sains Komputer dan Kejuruteraan Elektrik dan Komputer, Carnegie Mellon University

Artikel ini pada asalnya diterbitkan pada Perbualan. Membaca artikel asal.

Buku-buku yang berkaitan

at InnerSelf Market dan Amazon