Program Komputer Biasa Memrediksi Residivisme sama Buruknya dengan Manusia

Sama seperti koki profesional atau ahli bedah jantung, algoritma pembelajaran mesin sama baiknya dengan pelatihan yang diterimanya. Dan seiring algoritma yang semakin mengambil pemerintahan dan membuat keputusan untuk manusia, kami menemukan bahwa banyak dari mereka tidak menerima pendidikan terbaik, karena mereka meniru ras manusia dan bias berbasis gender dan bahkan menciptakan masalah baru.

Karena alasan ini, khususnya menyangkut beberapa negara bagian, termasuk California, New York, dan Wisconsin, menggunakan algoritma untuk memprediksi orang mana yang akan melakukan kejahatan lagi setelah mereka dipenjara. Lebih buruk lagi, sepertinya tidak berhasil.

Dalam sebuah makalah yang diterbitkan Rabu di jurnal Kemajuan Sains, sepasang ilmuwan komputer di Dartmouth College menemukan bahwa program komputer yang banyak digunakan untuk memprediksi residivisme tidak lebih akurat daripada warga sipil yang tidak terlatih. Program ini, yang disebut Profil Manajemen Pelanggar Korupsi untuk Sanksi Alternatif, menganalisis 137 faktor yang berbeda untuk menentukan seberapa besar kemungkinan seseorang akan melakukan kejahatan lain setelah dibebaskan. COMPAS mempertimbangkan faktor-faktor seperti penggunaan narkoba, isolasi sosial, dan elemen-elemen lain yang diteorikan oleh para kriminolog dapat menyebabkan residivisme, menempatkan orang pada risiko tinggi, sedang, atau rendah.

Dan tentu saja, penilaian risiko kedengarannya hebat. Mengapa tidak memiliki lebih banyak data untuk membantu pengadilan menentukan siapa yang memiliki risiko lebih besar? Tetapi apa yang ditemukan oleh ilmuwan komputer Dartmouth, Julia Dressel dan Hany Farid, adalah bahwa orang yang tidak terlatih dengan benar menilai risiko residivisme dengan ketepatan yang sama dengan COMPAS, menunjukkan bahwa kekuatan algoritma yang seharusnya tidak ada di sana.

Dalam satu persidangan yang mencakup hanya sebagian kecil dari informasi yang digunakan oleh COMPAS (tujuh faktor, bukan 137, dan tidak termasuk ras), sekelompok relawan manusia di internet, dengan kemungkinan tidak ada pelatihan dalam penilaian risiko kriminal, mengevaluasi laporan kasus. Mereka dengan benar memperkirakan residivisme seseorang dengan akurasi 67 persen, dibandingkan dengan akurasi 65 persen dari COMPAS.

Luangkan waktu sejenak untuk membiarkan hal itu meresap. Orang yang tidak terlatih di web sedikit lebih baik dalam memprediksi apakah seseorang akan kembali ke penjara daripada alat yang secara harfiah dirancang untuk memprediksi apakah seseorang akan kembali ke penjara. Dan itu semakin buruk. Setelah Anda menambahkan ras terdakwa, tarif sukarela palsu-positif dan palsu-negatif hanya dalam beberapa poin persentase dari COMPAS. Jadi tidak hanya COMPAS tidak hebat dalam memprediksi residivisme, ia juga rentan terhadap bias rasial seperti halnya manusia. Begitu banyak untuk logika komputer yang dingin.

Para peneliti kemudian membuat model linier yang sesuai dengan tingkat prediksi COMPAS hanya dengan dua faktor: usia dan jumlah keyakinan sebelumnya. Supaya jelas, prediksi ini juga tidak adil, tetapi ini menunjukkan betapa cacatnya COMPAS.

Dan meskipun penelitian ini baru, namun hal-hal besar yang diambilnya tidak. Dalam investigasi 2016, ProPublica wartawan menemukan bahwa tidak hanya COMPAS tidak dapat diandalkan, itu sebenarnya bias secara sistematis terhadap Afrika-Amerika, secara konsisten menilai orang kulit hitam sebagai risiko lebih tinggi daripada orang kulit putih yang melakukan kejahatan yang lebih serius. Semoga penelitian baru ini akan membantu membuka jalan bagi proses penilaian risiko juster dalam sistem peradilan pidana.

Fakta bahwa COMPAS tidak berguna di terbaik dan sangat bias di terburuk menunjukkan bahwa penilaian risiko berbasis komputer bisa memperdalam ketidakadilan yang seharusnya ditangani oleh sistem peradilan.Karena skor penilaian risiko dapat diterapkan pada setiap langkah proses peradilan pidana, termasuk saat menetapkan ikatan seseorang, menentukan apakah mereka diberikan pembebasan bersyarat, dan di beberapa negara, bahkan untuk menentukan hukuman seseorang, penelitian ini menunjukkan kebutuhan yang sangat besar untuk menguji kembali penggunaan COMPAS dan program lainnya.