Hadapi Musik: Bagaimana "Konduktor Mata" Membantu Paralytics Rock the Fuck Out

Andreas Refsgaard, perancang interaksi dan pembuat kode kreatif yang tinggal di Amsterdam, telah merancang antarmuka musik yang memungkinkan orang-orang cacat fisik untuk membuat musik. Eye Conductor menggunakan perangkat lunak pelacakan mata dan webcam komputer untuk menerjemahkan gerakan wajah ke berbagai komponen komposisi musik. Pengguna dapat melatih diri untuk memainkan benda itu dengan wajah mereka, yang berarti orang lumpuh - orang yang tidak bisa lagi memainkan alat musik - dapat memiliki kesempatan kedua untuk membuat suara yang indah (atau hanya keras). Pandangan yang benar-benar menyerang akord dengan penemuan Refsgaard. Ekspresi yang tepat mengekspresikan dirinya dengan keras.

Refsgaard berbicara Terbalik tentang motivasi di balik proyeknya, perjuangan yang ia hadapi, dan apa yang ia pelajari tentang apa yang ia berikan kepada orang-orang yang kehilangan kemampuan untuk membuat musik kesempatan lain.

Apa latar belakang Anda dengan musik?

Saya tidak akan menyebut diri saya seorang musisi karena saya hanya bermain untuk bersenang-senang, tetapi saya bermain gitar dan bass. Ableton adalah program musik, stasiun kerja digital yang mirip dengan perangkat lunak perekaman seperti Logic atau Protools atau Garage Band. Saya mengambil kursus, dan saya tidak begitu hebat dalam membuat musik dengan itu tetapi saya terpesona oleh kemungkinan yang saya lihat. Kemudian kami mulai berkolaborasi dan melakukan beberapa hal instalasi yang lebih canggih di mana dia akan mendesain suara dan saya akan menghubungkan sensor, misalnya kamera yang dalam sehingga ketika orang berjalan melewatinya, mereka akan mengendalikan beberapa aspek proyek.

Jadi, Anda adalah perancang interaksi dan pembuat kode kreatif. Bisakah Anda menjelaskan apa arti judul-judul itu?

Semua hal yang saya desain bersifat interaktif. Jadi jika saya membuat semacam furnitur, maka itu akan memiliki beberapa fungsi yang akan membuatnya bereaksi terhadap sesuatu. Saya juga seorang pembuat kode yang kreatif. Dibandingkan dengan banyak orang lain - misalnya saya belajar di Copenhagen di Copenhagen Institute of Interaction Design di mana orang-orang berasal dari banyak latar belakang yang berbeda - saya sedikit lebih ke arah sisi pengkodean. Saya juga menyebut diri saya "pembuat kode kreatif" karena saya bukan pembuat kode yang tepat. Saya tidak begitu mahir dalam hal itu tetapi saya dapat melakukan beberapa hal dengan sangat cepat dan saya dapat menghubungkan banyak hal dan saya pandai menghasilkan ide-ide baru.

Apa yang menginspirasi Anda untuk membantu orang-orang cacat fisik membuat musik?

Setelah sekolah menengah selama dua atau tiga bulan, saya adalah penjaga bagi seseorang dengan distrofi otot. Bersamanya setiap saat membuat saya menyadari beberapa hal yang tidak bisa saya bantu. Salah satunya mengekspresikan dirinya dengan cara yang kreatif. Bukan itu yang saya pikirkan, "Oke, inilah masalah yang harus saya pecahkan," karena pada waktu itu saya masih muda dan tidak memiliki keterampilan profesional. Tapi itu menempel padaku.

Bagaimana dengan inspirasi teknis?

Sebuah proyek bernama Eyewriter yang saya lihat sekitar setahun yang lalu adalah program melukis yang dirancang untuk seorang pria yang dulunya seorang seniman grafiti tetapi kemudian lumpuh. Beberapa temannya adalah pembuat kode dan membuat alat untuknya dengan pelacakan mata yang membuatnya bisa menggambar. Dan sejak saya bermain-main dengan sensor dan barang-barang dalam perangkat lunak musik, saya membuat koneksi. Saya melakukannya sebagai tugas akhir saya di sekolah.

Bagaimana musik akhirnya menjadi bidang kreatif yang ingin Anda jelajahi?

Saya pikir mungkin karena saya sangat menikmati musik dan dalam hal waktu yang saya miliki untuk proyek ini. Menjadi jelas bahwa musik adalah apa yang ingin saya kerjakan. Kemudian saya sangat terinspirasi oleh Eyewriter dalam hal membuat grafik.

Musik sepertinya pilihan yang bagus karena bersifat universal. Saya tidak bisa memikirkan siapa pun yang tidak suka musik.

Awalnya saya benar-benar ingin menguji seberapa penting musik untuk kelompok yang saya rancang. Langkah-langkah awal hanya mengamati bagaimana orang-orang dengan cacat fisik yang berbeda berinteraksi dengan musik. Satu rumah yang saya kunjungi memiliki Musik Kamis. Beberapa dapat menunjuk sedikit atau bermain sedikit pada keyboard, dan beberapa tidak bisa melakukan apa-apa, tetapi kenyataannya mereka muncul untuk Music Thursday.

Antara mengamati dan kemudian membuat perangkat, berapa lama?

Seringkali dalam proses desain itu akan menjadi dua hal yang terpisah, tetapi saya tidak suka pendekatan itu. Saya suka membangun dari awal dan kemudian ketika saya berbicara tentang apa yang telah saya buat. Dan kemudian saya memodifikasi atau memperbaikinya.

Bagaimana rasanya melihat orang menggunakannya untuk pertama kali?

Cukup bagus, ya. Karena beberapa orang tidak dapat berbicara, koneksi dapat menjadi sulit. Tapi ketika mereka menggunakan Konduktor Mata saya, kami benar-benar terhubung. Mereka menatapku dan tersenyum atau bertingkah sangat bahagia atau ketika aku menunjukkannya, mereka benar-benar fokus. Itu adalah contoh indah cara musik dapat membantu orang berinteraksi dan mengekspresikan emosi.

Tanpa terlalu teknis, apa masalah terbesar yang Anda hadapi saat Anda merancang Konduktor Mata?

Agar sistem berfungsi, Anda harus duduk dalam posisi yang sama seperti kita duduk sekarang di depan laptop kita karena gambar yang Anda lihat tentang saya sekarang lurus dan bagus untuk melacak wajah dan mata saya. Tetapi jika Anda bersama seseorang di kursi roda yang tidak memiliki kendali atas postur atau punggung atau leher mereka, misalnya, maka kadang-kadang mereka akan duduk lebih miring dan sistem tidak dapat melacak gerakan wajah mereka. Dan kadang-kadang akan sedikit tidak nyaman bagi saya untuk mencoba mengatakan, "Ok untuk ini bekerja Anda harus duduk lebih tegak." Dan kemudian dengan mereka yang tidak verbal, bagaimana kita berkomunikasi ini?

Jika kepala seseorang dimiringkan seperti itu, dapatkah Anda secara teoritis memegang laptop dengan cara yang mengambil gerakan wajah mereka?

Ya. Jadi saya tidak benar-benar menyelesaikan masalah itu, tetapi banyak orang memasang komputer ke kursi roda mereka dan komputer ada di tiang dan kemudian di tiang itu ada perangkat pemasangan dan mereka mengarahkannya ke arah yang benar untuk menunjuk ke arah wajah seseorang. Tidak ada posisi yang benar atau salah, itu hanya tentang mendapatkan sensor - yang merupakan webcam dan pelacak mata - untuk langsung di kepala. Itu agak menantang. Itu lebih merupakan masalah perangkat keras karena kalau tidak saya harus mencoba dan membangun struktur dan itu akan berantakan. Saya tidak begitu pandai dalam hal itu.

Apakah Anda melakukan semuanya sendiri atau apakah Anda mengalami masalah teknis yang hanya bisa dipecahkan oleh orang lain?

Saya melakukannya sendiri tetapi di sisi desain suara saya mendapat bantuan dari profesor yang saya ceritakan. Pada dasarnya hanya hal desain suara. Saya juga memiliki penasihat yang memberi saya beberapa petunjuk dalam hal bahasa pemrograman yang disebut Max, yang sangat dia kuasai. Dia hanya membantu saya menjadi lebih nyaman dengan detail pemrograman tertentu. Tentu saja banyak yang baru tetapi dasar-dasar itu sudah saya ketahui dari pengalaman sebelumnya. Saya membuat Konduktor Mata dalam delapan minggu dan orang-orang berkata, "Oh, gila bagaimana Anda bisa membuatnya dalam delapan minggu?" Tetapi saya membuat beberapa hal lain yang juga canggih dalam hal bekerja dengan sensor dan perangkat lunak musik dan itu memakan waktu lebih lama karena Saya tidak tahu bagaimana melakukannya. Sekarang saya tahu itu tidak sesulit, meskipun proyek ini lebih rumit. Penting juga bagi saya untuk menunjukkan bahwa ini adalah prototipe yang berfungsi penuh tetapi ini bukan produk. Jadi orang tidak bisa keluar dan membelinya dan menginstalnya di komputer saya.

Saya akan bertanya kepada Anda apakah Anda memiliki rencana untuk menjualnya?

Saya sebenarnya tidak ingin menjualnya, saya ingin memberikannya. Saya ingin menjadikannya sumber terbuka tapi saya tidak bisa menjanjikan apa pun sekarang. Saya belum memiliki dana untuk itu dan saya memiliki pekerjaan dan hal-hal lain yang harus dilakukan. Saya mendapat pesan dari seorang pria di Michigan misalnya yang dulunya seorang produser dan kemudian dia mendapat ALS. Aku harus membuatnya entah bagaimana tersedia untuk semua orang ini. Ini sangat penting bagi saya di beberapa titik, dan saya tidak bisa menjanjikan kapan, tapi mudah-mudahan segera, mengemasnya sehingga orang dapat mengunduh semuanya sebagai satu hal dan itu akan berjalan di sebagian besar komputer atau benar-benar mencobanya di browser. Gagasan di balik menjadikannya sebagai peramban hanya akan mengharuskan orang memiliki komputer dengan akses online dan kemudian memiliki pengganti apa pun untuk mouse yang mungkin ada di komputer mereka. Jika saya membuatnya open source, saya dapat memberikan demo dasar dan kemudian orang dapat menambahkan tikungan mereka sendiri untuk membuatnya sendiri.

Sangat menyenangkan untuk mendengar bahwa Anda melakukan ini karena Anda ingin membantu orang dan bukan karena Anda ingin menjadi kaya atau sesuatu seperti itu.

Alat yang saya buat dengan - setidaknya prototipe yang berfungsi - adalah open source. Mengapa saya kemudian mendapatkan kredit? Misalnya sistem pelacakan wajah yang saya gunakan untuk prototipe saya yang memungkinkan orang untuk membuat suara dengan mengangkat alis mereka atau membuka mulut mereka, itu hal yang disebut FaceOSC dibuat oleh seorang pria bernama Kyle McDonald dan itu adalah sistem open source. Saya pikir saya tidak akan mendapatkan sejauh yang saya bisa tanpa perangkat lunak itu.