Akankah Senjata Otonom Mengatakan "Tidak" pada Perintah Ilegal?

Baynazar Mohammad Nazar tidak sadarkan diri di meja operasi ketika langit-langit mulai runtuh padanya. Ayah empat anak itu telah diperiksa di rumah sakit sehari sebelumnya setelah ditembak di kaki, dan menjalani operasi keduanya dalam dua hari untuk memperbaiki cederanya. Ketika orang Amerika mulai menghancurkan bangunan itu, para dokter yang bekerja padanya tidak punya pilihan selain melarikan diri sendiri secepat mungkin.

Andrew Quilty di Kebijakan luar negeri menceritakan kisah hidup dan mati Baynazar dalam sebuah artikel yang mencakup foto tubuhnya yang tertutup puing-puing di meja operasi. Baynazar adalah salah satu dari 31 orang yang dibunuh Amerika Serikat ketika menghantam rumah sakit yang dikelola oleh Doctors Without Borders (juga disebut MSF) di Kunduz, Afghanistan, pada 2 Oktober.

Setelah pemogokan besar-besaran, korban sipil-tinggi, politisi dan pakar bertanya bagaimana hal seperti itu bisa terjadi, dan apa yang bisa dilakukan untuk memastikan hal itu tidak terjadi lagi. Di antara para pendukung sistem senjata otonom, kadang-kadang disebut "robot pembunuh," satu argumen populer adalah bahwa kesalahan manusia (atau kejahatan) bertanggung jawab atas sebagian besar kejahatan yang dilakukan selama masa perang. Menurut teori, mungkin saja bahwa robot bisa lebih tepat dalam penargetan mereka, dan lebih tidak rentan terhadap kesalahan daripada manusia.

“Faktanya, penilaian manusia dapat membuktikan indikator yang kurang andal daripada teknis dalam panasnya pertempuran,” tulis Michael N. Schmitt, seorang profesor di Akademi Perang Angkatan Laut AS. "Mereka yang meyakini sebaliknya belum mengalami kabut perang."

Serangan udara AS ke rumah sakit MSF di Afghanistan 'terutama disebabkan oleh kesalahan manusia' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25 November 2015

Maka pertanyaannya adalah: bisakah Anda memprogram alat perang untuk menyempitkan perilaku manusia untuk membuat pemogokan seperti pemboman rumah sakit Kunduz menjadi tidak mungkin, atau setidaknya lebih kecil kemungkinannya?

Mungkin tidak - setidaknya untuk waktu dekat. Tetapi beberapa programmer kecerdasan buatan telah merancang robot yang bisa mengatakan tidak kepada manusia. Desain eksperimen sederhana: Manusia memberi tahu robot untuk berjalan maju dari meja, yang robot awalnya tidak mau lakukan. Ketika manusia memberi tahu robot bahwa dia akan menangkapnya, robot menerima perintah.

Itu jauh dari helikopter serang semi-otonom yang memberitahu awak manusianya bahwa ia tidak dapat melakukan serangan udara terhadap rumah sakit karena itu akan menjadi kejahatan perang, tetapi premis yang mendasarinya sebagian besar sama. Seperti yang telah ditunjukkan oleh orang lain, kecemasan manusia tentang perkembangan robot yang sangat umum terjadi pada fiksi ilmiah - pikirkan HAL-9000 yang mengatakan "Aku tidak bisa melakukan itu, Dave" ketika itu mengunci manusia di luar stasiun ruang angkasa di 2001: A Space Odyssey.

Mengenai kekhasan serangan Kunduz, banyak fakta seputar serangan itu masih diperdebatkan. MSF telah menuntut penyelidikan independen, yang ditentang oleh pemerintah Amerika Serikat, sebagai gantinya menjanjikan untuk melakukan tinjauan sendiri.

Beberapa bagian dari satu penyelidikan AS diumumkan kepada publik awal bulan ini, dan menemukan kesalahan manusia dan mekanik yang bertanggung jawab atas pemogokan. Tetapi awal minggu ini, dua anggota layanan maju untuk menentang temuan laporan. Mereka mengatakan pemogokan itu bukan kesalahan. Dalam akuntansi mereka, pertama kali dilaporkan oleh AP Pasukan operasi khusus A.S. menyerukan pemogokan karena mereka menganggap rumah sakit itu digunakan sebagai pusat komando dan kontrol Taliban.

Dalam versi resmi, kegagalan mekanis menyebabkan awak AC-130 awalnya mendapatkan koordinat untuk bidang kosong. Para kru kemudian mencari sebuah bangunan di daerah yang sesuai dengan deskripsi fisik yang telah diberikan kepada mereka, dan melepaskan tembakan. Ketika instrumen mereka dikalibrasi ulang, mereka memberi kru koordinat yang benar untuk target mereka, tetapi kru tetap menembak ke rumah sakit.

Jika akun ini benar - bahwa komputer itu pada akhirnya akurat dan manusia mengabaikannya - itu memberi kepercayaan kepada pendukung otonomi yang lebih besar dalam sistem senjata. Konon, perang melawan teror A.S. dipenuhi dengan contoh-contoh militer atau CIA yang mengenai target "benar" dan akhirnya membunuh banyak warga sipil. Otomatisasi tidak akan menyelesaikan kecerdasan yang buruk, dan upaya untuk memprogram perkiraan moral tidak akan mengakhiri kejahatan perang.

Ada godaan kuat di Amerika Serikat untuk mensterilkan perang, dan otomatisasi, dengan menyingkirkan orang Amerika dari jalan yang membahayakan, yang ditakdirkan untuk mengubah definisi perang. Preferensi Obama untuk pembunuhan drone dan jaminan yang menyertainya bahwa drone adalah senjata paling tepat yang pernah dibuat adalah manifestasi paling jelas dari tujuan tersebut. "Mereka telah melakukan serangan yang presisi dan presisi terhadap Al Qaeda dan afiliasinya," kata Obama dalam hangout Google 2012.

Namun, sebuah studi pemerintah 2013 membandingkan klaim tersebut. Ditemukan bahwa pesawat tak berawak di Afghanistan menyebabkan 10 kali lebih banyak kematian warga sipil daripada kendaraan tak berawak. "Drone secara ajaib tidak lebih baik dalam menghindari warga sipil daripada jet tempur," Sarah Holewinski, salah satu penulis penelitian, mengatakan Penjaga. "Ketika pilot jet terbang diberikan arahan dan pelatihan yang jelas tentang perlindungan sipil, mereka mampu menurunkan tingkat korban sipil."

Militer membelanjakan jutaan dolar untuk mengembangkan sistem kerja tim robot-manusia, lebih jauh mengaburkan batas antara misi yang dilakukan dengan senjata berawak atau tak berawak. "Apa yang ingin kami lakukan pada tim tempur manusia-mesin adalah membawanya ke tingkat berikutnya, untuk melihat hal-hal seperti taktik mengerumuni," kata Wakil Sekretaris Pertahanan Bob Work kepada blog resmi DoD science blog. "Bisakah F-35 bertarung dengan empat wingman tak berawak?"

Akankah orang-orang sayap itu berkata tidak jika pilot manusia memberi mereka perintah yang analog dengan berjalan dari meja? Bagaimana dengan perintah untuk menghancurkan rumah sakit atau sekolah? Kabut perang akan berlaku dalam kedua kasus ini. Dan jika kita memutuskan untuk mengesampingkan mesin, frasa "kesalahan manusia" akan menjadi salah satu istilah yang lebih menakutkan dalam konflik di masa depan.