Menyusun mengikut algoritma meletakkan kita dalam kotak. Bagaimana kita tahu mereka adalah yang betul? dijana, CC BY

Masyarakat seolah-olah menetapkan kursus ke titik di mana kehidupan kita tertakluk kepada pengawasan algoritma komputer. Data yang kami hasilkan telah dikumpulkan dan dianalisis, sama ada oleh kerajaan untuk keselamatan negara atau syarikat untuk keuntungan, dan ini tidak mungkin berubah - kuasa dan daya tarikan analisis data, sekali dijumpai, tidak akan diberikan dengan mudah.

Tetapi sebenarnya saya tertanya-tanya sama ada saya lebih prihatin bahawa data kami dikumpulkan atau oleh fakta bahawa kita tidak mengetahui apa-apa mengenai algoritma yang menyatakan penghakiman kepada kami.

Tahap terperinci tentang kehidupan dan tabiat kita yang tidak dapat dipisahkan dari data yang kita tinggalkan telah dibincangkan sebelum ini, dan mendapat penerangan segar sebagai sebahagian daripada perdebatan di sekitar draf UK Rang Undang-Undang Kuasa penyiasatan. Kami tahu sekurang-kurangnya sesuatu tentang data yang dikumpulkan dan berapa lama ia disimpan, yang mana sebahagiannya ditadbir oleh undang-undang UK dan Eropah.

Dalam teks rang undang-undang draf, contohnya, kita tahu bahawa kerajaan UK akan "hanya" permintaan (tidak wajar) akses kepada metadata komunikasi, tajuk dan subjek e-mel, dan rekod panggilan telefon. Tetapi kita juga tahu betapa mendedahkan metadata sahaja: lihatlah Projek Penyiaran Lab MIT Media untuk contoh yang kuat tentang betapa terperinci dapat dipastikan dari itu. Pastinya tidak sama sekali setanding dengan bil telefon diperinci, seperti yang didakwa.

Jadi untuk lebih baik atau lebih buruk kita, orang awam, mempunyai beberapa petunjuk tentang apa yang direkodkan. Tetapi kita sama sekali tidak tahu apa alat analitik dan teknik yang digunakan untuk data ini - dan kepentingan ini tidak boleh dipandang rendah.

Apa Crunches The Numbers?

Kita boleh membuat tekaan berpendidikan. Agensi keselamatan kebangsaan mungkin menggunakan metadata kami untuk menjana rangkaian sosial antara orang dan tempat, antara lain, menghubungkan kami bersama-sama. Rangkaian hubungan ini kemudian akan dianalisis untuk menentukan sama ada kita adalah orang yang berminat, ditentukan oleh bagaimana anda membandingkan dengan orang lain yang menarik, dan bagaimana anda menyambung kepada orang yang ada kepentingan atau yang berkaitan dengannya.

Penyelidik yang menggunakan teknik ini memahami batasan mereka, dan algoritma yang memberi kuasa kepada mereka mungkin mengandungi ralat atau asumsi yang mendasari yang mempunyai kesan mendalam pada output mereka. Dalam kes ini, ini mungkin bermakna sama ada anda dilabel pengganas atau tidak, atau sama ada anda layak untuk pinjaman atau gadai janji.

Ia juga tidak jelas di mana di kawasan sempadan kabur kewujudan hubungan ditakrifkan. Adakah hanya mengunjungi laman web yang sama sebagai pengganas membayangkan nilai bersama, atau menunggang laluan bas yang sama setiap hari menunjukkan anda secara teratur berbincang dengan pengganas? Ia adalah mustahil untuk melawat laman web yang sering dikunjungi oleh pengganas yang terkenal kerana banyak sebab yang sah. Sekiranya anda mendapat berita anda dari laman web yang sama sebagai pengganas, anda lebih mungkin menjadi pengganas? Diskriminasi dan berat sebelah boleh diperkenalkan pada titik pengumpulan data, dan sekali lagi apabila keputusan dibuat mengenai bagaimana menganalisis data tersebut. Algoritma boleh mendiskriminasi juga.

Sempadan Blurred

Kemungkinan bahawa algoritma memperkenalkan kecenderungan yang tidak diingini adalah sangat nyata. Sebagai contoh, mereka yang digunakan oleh perkhidmatan keselamatan dilatih dalam dataset pengganas yang dikenali dan bukan pengganas yang dikenali. Adakah ini bermakna bahawa, kerana pengganas yang paling terkenal adalah lelaki berumur 20-30, anda lebih cenderung diklasifikasikan sebagai pengganas kerana semata-mata lelaki dan berumur kira-kira 20-30, tanpa mengira sifat-sifat anda yang lain ?. Jika ya, apakah ini mempunyai kesan yang signifikan terhadap bagaimana data digunakan?

Masalahnya berpunca daripada fakta bahawa saya dan penyelidik akademik yang lain menggunakan analisis rangkaian kompleks, pembelajaran mesin, pencocokan pola, atau teknik kecerdasan buatan telah menggunakan teknik-teknik tersebut secara umum untuk mengkaji semula kekuatan teknik dan kesahihan kesimpulan; perkhidmatan keselamatan kerajaan dan organisasi sektor swasta tidak. Kami tidak tahu kualiti kaedah mereka dan bagaimana mereka menggunakannya. Adakah terdapat penyelesaian untuk ini?

Mereka dari bidang keselamatan, kriptografi, telah lama mengetahui bahawa cara terbaik untuk meningkatkan mutu, dan dengan itu keselamatan, algoritma mereka adalah untuk menjadikan mereka awam. Pelaksanaan kriptografi dan ciphers diterbitkan, dan penyelidik mendorong untuk mencoba mencari kesalahan atau kelemahan, dengan melakukan peningkatan keamanan untuk semua yang menggunakannya. Di samping itu, apa-apa pelaksanaan algoritma cryptogaphic tertutup (bukan awam) secara umum dianggap dengan syak wasangka. Sekiranya mereka mengucapkan penghakiman yang berubah-ubah kepada kita - sama ada kita dilabel sebagai pengganas atau tidak layak secara kewangan - model yang sama harus digunakan untuk algoritma keselamatan.

Hujah terhadap langkah sedemikian ialah algoritma terbuka dan telus mungkin membawa pengganas untuk mengubah suai tingkah laku dunia mereka untuk mengelakkan dikesan. Ini bermakna mengubah perkara seperti interaksi, persatuan, tabiat pelayaran, dan pergerakan yang berpotensi. Tetapi ini, jika algoritma berfungsi dengan betul, bermakna mereka pada dasarnya berhenti bertindak seperti pengganas. Jika keselamatan masa depan, kebebasan, dan keselamatan akan bergantung pada algoritma ini, kita mesti yakin dengan tepat bagaimana - dan itu - mereka berfungsi.

Tentang Pengarang

Philip Garnett, Pensyarah, Universiti York.

Artikel ini pada asalnya diterbitkan pada Perbualan. Membaca artikel asal.

Tempah berkaitan:

at

Terima kasih kerana melawat InnerSelf.com, mana ada 20,000 + rencana mengubah hidup yang mempromosikan "Sikap Baharu dan Kemungkinan Baharu." Semua artikel diterjemahkan ke dalam 30+ bahasa. Langgan kepada Majalah InnerSelf, diterbitkan setiap minggu, dan Inspirasi Harian Marie T Russell. lahirnya Magazine telah diterbitkan sejak tahun 1985.