Pembelajaran Mesin Senjata Melawan ISIS Akan Meruntuhkan Rantai Komando Militer

Semua orang di internet bersenang-senang dengan Tay, robot Twitter Microsoft yang menjadi denier Holocaust rasis dalam hitungan beberapa jam (kemudian kembali dan melakukannya lagi). Perusahaan telah menciptakan penutup hubungan masyarakat - lebih banyak insiden daripada bencana - sambil memberi masyarakat pelajaran objek tentang pro dan kontra pembelajaran mesin: Otomasi dapat memanfaatkan pola dengan efek yang menarik dengan cepat, tetapi hasilnya akan sulit diprediksi..

Seperti yang sering terjadi, militer adalah pengadopsi awal teknologi otomasi. Ini - pada suatu waktu - memimpin muatan menuju pembelajaran mesin dan juga berusaha mati-matian untuk mengikutinya. Salah satu area fokus utama Pentagon adalah robot otonom dan bagaimana mereka akan bekerja sama dengan manusia - misalnya robot wingman gaya R2D2. Tapi minggu ini, Wakil Sekretaris Pertahanan Robert Work menguraikan tugas lain untuk A.I.: penguraian data sumber terbuka.

"Kami benar-benar yakin bahwa penggunaan mesin pembelajaran mendalam akan memungkinkan kami untuk memiliki pemahaman yang lebih baik tentang ISIL sebagai jaringan dan pemahaman yang lebih baik tentang bagaimana menargetkannya secara tepat dan mengarah pada kekalahannya," kata Sekretaris Pekerjaan, menurut Sekretaris Pekerjaan, menurut Situs web DoD. Menurut akun itu, Work, yang berbicara di sebuah acara yang diselenggarakan oleh Washington Post, memiliki pencerahan ketika menonton perusahaan teknologi Silicon Valley menunjukkan "sebuah mesin yang mengambil data dari Twitter, Instagram, dan banyak sumber publik lainnya untuk menunjukkan penembakan Malaysia Airlines Penerbangan 17 Juli 2014 secara real time."

Perusahaan swasta dan penegak hukum telah berusaha memahami “data besar” sejak lama. Tetapi militer memiliki keuntungan: sumber daya. Juga, mereka mendapat akses ke materi rahasia.

Pemerintah AS tampaknya siap untuk bertaruh bahwa algoritma perangkat lunak dapat memilah-milah jumlah data yang sangat besar di luar sana untuk mengidentifikasi target ISIS yang mungkin akan menghindarinya, dan mendeteksi dan mengganggu plot sebelum para perencana dapat melaksanakannya. Pemerintah sudah mencoba mempelajari media sosial untuk memprediksi ukuran protes online. Tidak ada pertanyaan bahwa pembelajaran mesin akan memberikan kekuatan yang lebih besar kepada analis intelijen untuk memahami kekayaan informasi yang tersedia di dunia. Tetapi ketika kecerdasan itu menjadi dasar di mana serangan mematikan diambil, masalah etika menjadi lebih kompleks, bahkan jika mereka tampak langsung.

Meskipun Work cepat menyatakan bahwa Pentagon tidak akan "mendelegasikan otoritas mematikan ke sebuah mesin," yang tetap menjadi permainan terakhir. Sementara itu, manusia akan tetap "dalam lingkaran," sebagaimana jargon berjalan. Tetapi seperti yang diketahui orang yang telah melihat iPhone untuk laporan cuaca ketika berdiri di sebelah jendela, hubungan yang kita miliki dengan perangkat dan perangkat lunak kita tidaklah sederhana. Kami memiliki kredibilitas bermasalah dan mudah terganggu oleh masalah UI.

"Bias otomatisasi," kecenderungan manusia untuk tunduk pada mesin, menghadirkan bahaya yang semakin jelas. Contoh masuk untuk menggambarkan fenomena ini adalah ketika ponsel Anda memberi tahu Anda untuk mengambil rute perjalanan yang Anda tahu salah tetapi Anda tetap melakukannya, dengan anggapan bahwa ponsel tersebut harus mengetahui sesuatu yang tidak Anda ketahui. Ini adalah masalah umum dalam konteks non-militer. Namun, apa yang tampaknya semakin dekat dengan Pentagon adalah laporan ancaman yang disusun oleh kecerdasan buatan. Kami tidak tahu apa-apa tentang potensi kemanjuran program ini selain dari itu akan sulit bagi manusia untuk diimplementasikan.

Dalam sebuah makalah tahun 2001 yang mengamati pilot pelajar dan profesional dan bias otomatisasi, para peneliti menemukan bahwa "dalam skenario di mana informasi yang benar tersedia untuk memeriksa silang dan mendeteksi anomali otomatisasi, tingkat kesalahan sekitar 55% didokumentasikan di kedua populasi." Studi ini juga menemukan bahwa menambahkan teman satu tim manusia tambahan tidak mengurangi masalah.

Demikian pula, sebuah studi MIT dari tahun lalu agak mengganggu menemukan bahwa pemain komputer dan video game memiliki "kecenderungan yang lebih tinggi untuk otomatisasi overtrust." Itu bisa berarti bahwa semakin banyak waktu yang kita habiskan menatap layar kita, semakin kita mempercayai apa yang kita lihat. Sekali lagi, masalahnya bukan pada sistem yang kami gunakan, tetapi dengan cara kami menggunakannya. Kesalahannya bukan pada bintang kita, tetapi pada diri kita sendiri.

Data besar tetap menjanjikan. Pembelajaran mesin tetap menjanjikan. Tetapi ketika mesin menasihati manusia, hasilnya diperkirakan tidak dapat diprediksi. Apakah transformasi Tay menjadi misoginis neo-Nazi berarti bahwa Twitter membenci orang Yahudi dan wanita? Sulit diketahui, tetapi sangat tidak mungkin. Ketika kami tidak memahami proses dengan cara input menjadi output, kami berjuang untuk menangani hasil dengan cara yang rasional. Yang menempatkan Pentagon di posisi yang menarik. Apakah orang yang memprogram perangkat lunak pembelajaran mesin militer akan menjadi orang yang memesan serangan udara? Itu bukan bagaimana rantai komando bekerja, tetapi rantai komando menjadi kusut ketika teknologi terlibat.