Antarmuka Otak-Komputer Dapat Menerjemahkan Pikiran Menjadi Pidato

Neuroengineers telah menciptakan sistem baru yang dapat menerjemahkan pemikiran sederhana menjadi ucapan yang dapat dikenali, menggunakan kecerdasan buatan dan synthesizer ucapan, menurut sebuah penelitian yang diterbitkan Selasa.

Sebuah tim peneliti yang berbasis di New York mampu merekonstruksi kata-kata hanya dengan menggunakan aktivitas otak, sebuah inovasi yang dapat membuka jalan bagi teknologi yang dikontrol otak seperti, katakanlah, smartphone yang dapat menerjemahkan pikiran Anda menjadi pesan teks.

Nima Mesgarani, seorang associate professor di Columbia University, memimpin penelitian dan memberi tahu Terbalik bahwa ia melihat potensi besar untuk membantu memulihkan bicara pada orang yang pulih dari stroke atau hidup dengan amyotrophic lateral sclerosis (ALS). Lebih jauh ke depan, jenis teknologi ini juga dapat membuka pintu ke smartphone yang terhubung dengan otak yang dapat memungkinkan pengguna mengirim teks menggunakan pikiran mereka, meskipun itu masih jauh. Karyanya diterbitkan dalam jurnal Laporan Ilmiah.

"Salah satu motivasi dari karya ini … adalah untuk metode interaksi manusia-komputer alternatif, seperti kemungkinan antarmuka antara pengguna dan smartphone," katanya. "Namun, itu masih jauh dari kenyataan, dan saat ini, informasi yang dapat diekstraksi menggunakan metode non-invasif tidak cukup baik untuk aplikasi antarmuka otak-komputer bicara."

Dengarkan pidato yang dihasilkan oleh antarmuka otak-komputer.

Untuk mengembangkan teknik baru, Mesgarani dan rekannya, Dr. Ashesh Dinesh Mehta dari Northwell Health Physician Partners Neuroscience Institute, mulai dengan memeriksa aktivitas otak pasien epilepsi untuk studi mereka. Pasien-pasien ini sudah memiliki implan elektroda di otak mereka untuk memantau kejang, yang dapat digunakan Mesgarani dan Mehta untuk mengumpulkan data untuk penelitian mereka.

Duo meminta peserta yang bersedia untuk mendengarkan pembicara melafalkan angka antara nol dan sembilan, dan kemudian merekam sinyal otak dari interaksi itu. Selanjutnya, mereka melatih jaringan saraf - program yang meniru struktur neuron di otak manusia - untuk mengenali pola dalam sinyal dan menerjemahkannya ke dalam kata-kata yang terdengar seperti robot menggunakan synthesizer ucapan, yang dikenal sebagai vocoder.

Hasilnya adalah klip suara pendek dari apa yang terdengar seperti Microsoft Sam menghitung dari nol hingga sembilan. Bagian yang mengesankan adalah seberapa jelas pidato dibandingkan dengan metode lain yang diuji para peneliti. Namun, masih banyak pekerjaan yang harus dilakukan.

“Mungkin butuh satu dekade sebelum teknologi ini tersedia,” kata Mesgarani. “Kita membutuhkan lebih banyak kemajuan baik dalam jangka panjang, elektroda implan yang kompatibel dengan bio dan / atau teknologi terobosan dalam metode perekaman saraf non-invasif. Kami juga membutuhkan pemahaman yang lebih baik tentang bagaimana otak merepresentasikan ucapan, sehingga kami dapat memperbaiki metode pengodean kata-kata kami."

Para pasien yang menjadi bagian dari penelitian ini, misalnya, semua menjalani operasi otak untuk menanamkan monitor elektrokortikografi. Ini adalah proses yang sangat invasif yang membutuhkan operasi otak terbuka, sesuatu yang kebanyakan orang mungkin tidak mau menjalani, bahkan jika ada kemungkinan memulihkan beberapa kemampuan bicara mereka.

Untuk saat ini, penelitian ini memperkenalkan metode untuk memecahkan kode sinyal otak menjadi ucapan. Jika kita mencari cara untuk mendeteksi aktivitas otak secara akurat tanpa operasi, kita akan selangkah lebih dekat untuk tidak hanya merevolusi terapi wicara, tetapi juga berpotensi untuk mewujudkan smartphone yang terhubung dengan otak.

Penelitian antarmuka otak-komputer telah menerima minat yang baru ditemukan dalam beberapa tahun terakhir. Pada April 2017, Facebook mengumumkan sedang mengerjakan BCI selama konferensi F8 tahunannya. Dan Elon Musk mengumumkan pada November 2018 bahwa Neuralink, startup BCI-nya sendiri, sedang merekrut.

Abstrak

Rekonstruksi stimulus pendengaran adalah teknik yang menemukan perkiraan terbaik dari stimulus akustik dari populasi aktivitas saraf yang ditimbulkan. Merekonstruksi wicara dari korteks pendengaran manusia menciptakan kemungkinan wicara neuroprostetik untuk menjalin komunikasi langsung dengan otak dan telah terbukti mungkin dalam kondisi terbuka maupun tertutup. Namun, rendahnya kualitas ucapan yang direkonstruksi telah sangat membatasi kegunaan metode ini untuk aplikasi antarmuka otak-komputer (BCI). Untuk memajukan state-of-the-art dalam neuroprosthesis wicara, kami menggabungkan kemajuan terbaru dalam pembelajaran mendalam dengan inovasi terbaru dalam teknologi sintesis wicara untuk merekonstruksi pidato cerdas tertutup dari korteks pendengaran manusia. Kami menyelidiki ketergantungan akurasi rekonstruksi pada metode regresi linear dan nonlinear (jaringan saraf dalam) dan representasi akustik yang digunakan sebagai target rekonstruksi, termasuk spektogram pendengaran dan parameter sintesis ucapan. Selain itu, kami membandingkan akurasi rekonstruksi dari rentang frekuensi saraf rendah dan tinggi. Hasil kami menunjukkan bahwa model jaringan saraf yang mendalam yang secara langsung memperkirakan parameter synthesizer ucapan dari semua frekuensi saraf mencapai skor subyektif dan obyektif tertinggi pada tugas pengenalan angka, meningkatkan kejelasan hingga 65% dibandingkan metode dasar yang menggunakan regresi linier untuk merekonstruksi spektogram pendengaran. Hasil ini menunjukkan kemanjuran pembelajaran yang mendalam dan algoritma sintesis wicara untuk merancang generasi berikutnya sistem BCI wicara, yang tidak hanya dapat memulihkan komunikasi untuk pasien yang lumpuh tetapi juga memiliki potensi untuk mengubah teknologi interaksi manusia-komputer.

Video Terkait: Robot Sensing Gelombang Otak Dapat Berfungsi sebagai Ekstensi Tubuh Manusia