A.I. Pakar Virginia Dignum: Masalah Troli Menunjukkan Mengapa Kita Membutuhkan Transparansi

Kecerdasan buatan membutuhkan transparansi sehingga manusia dapat mempertanggungjawabkannya, kata seorang peneliti. Virginia Dignum, Associate Professor di Delft University of Technology, mengatakan kepada audiensi di New York University pada hari Jumat bahwa jika kita tidak mengerti mengapa mesin bertindak seperti itu, kita tidak akan bisa menilai keputusan mereka.

Dignum mengutip sebuah cerita oleh David Berreby, seorang penulis sains dan peneliti, yang diterbitkan di Psikologi Hari Ini: "Bukti menunjukkan bahwa ketika orang bekerja dengan mesin, mereka merasa kurang memiliki hak pilihan dibandingkan saat mereka bekerja sendiri atau dengan orang lain."

“Masalah troli,” Dignum menjelaskan, adalah area di mana orang dapat menempatkan kepercayaan buta pada mesin untuk memilih hasil yang tepat. Pertanyaannya adalah apakah mengganti tuas dengan kereta pelarian hipotetis sehingga membunuh satu orang, bukan lima. Orang berharap mesin menyelesaikan masalah dengan cara yang paling rasional. Namun, hal itu mungkin tidak selalu demikian, dan transparansi akan membantu menjelaskan bagaimana alat berat itu mengambil keputusan.

"Ini bukan hanya rangkaian jaringan saraf yang sangat dalam yang tidak dapat dipahami oleh siapa pun, tetapi untuk membuat penjelasan tersebut dengan cara yang dapat dipahami orang," katanya.

A.I. yang membuat kerjanya jelas adalah area yang telah dijelajahi DARPA. Agensi memposting pengumuman pada bulan Agustus bahwa mereka mencari tim yang tertarik pada A.I. proyek, yang dikenal sebagai XAI. Sistem ini akan membantu peneliti memahami mengapa A.I. membuat keputusan seperti itu, memberikan lebih banyak ruang untuk memutuskan apa yang harus dilakukan dengan informasi yang dihasilkan daripada mempercayai mesin secara membuta.

Dengan pembelajaran mesin, Dignum mencatat bahwa transparansi lebih penting daripada sebelumnya. "Kita tidak bisa mengharapkan sistem, dan terutama mesin pembelajaran mesin, untuk belajar, dan untuk mengetahui semuanya segera," katanya.“Kami tidak mengharapkan pengemudi kami, saat mengemudi, untuk sepenuhnya memahami undang-undang lalu lintas. Di banyak negara, mereka menggunakan lempengan "L" itu untuk menunjukkan, 'Saya sedang belajar, maafkan saya atas kesalahan yang mungkin saya buat.' "Menonton AI, memahami bagaimana keputusan dan tindakan tertentu didasarkan pada itu akan sangat penting untuk menghentikan mesin yang masih belajar dari membuat keputusan yang buruk.