Peneliti dari The University of Texas di Austin telah mengembangkan suatu teknologi inovatif yang dikenal sebagai Dekoder Semantik. Dengan bantuan kecerdasan buatan (AI), teknologi ini mampu menerjemahkan bahasa otak menjadi bahasa yang dapat dimengerti dengan tingkat akurasi yang lebih tinggi daripada teknologi sejenis yang ada saat ini.
Studi ini, yang dipublikasikan dalam jurnal Nature Neuroscience, dipimpin oleh Jerry Tang, seorang mahasiswa doktoral di bidang Ilmu Komputer, dan Alex Huth, seorang asisten profesor di bidang Ilmu Saraf dan Ilmu Komputer di UT Austin. Rekan penulis studi ini juga melibatkan Amanda LeBel, seorang mantan asisten peneliti di laboratorium Huth, serta Shailee Jain, seorang mahasiswa pascasarjana ilmu komputer di UT Austin.
Cara Kerja Tenologi Deloder Semantik
Teknologi AI Dekoder Semantik ini bekerja dengan memanfaatkan model transformator, serupa dengan teknologi yang digunakan oleh ChatGPT OpenAI dan Bard Google. Namun, yang membedakan sistem ini dari sistem dekoder bahasa lain yang sedang dikembangkan adalah tidak adanya kebutuhan bagi subjek untuk menjalani operasi implantasi, sehingga prosesnya tidak invasif.
Dalam sesi percobaan Dekoder Semantik ini, para peneliti menggunakan pemindai fMRI (Functional Magnetic Resonance Imaging) yang dapat mengukur aktivitas otak dengan mendeteksi perubahan yang terkait dengan aliran darah. Dalam sesi pelatihan, peserta diminta untuk mendengarkan podcast selama berjam-jam di pemindai tersebut. Setelah itu, dengan asumsi bahwa peserta bersedia untuk membiarkan pikiran mereka didekode, mereka diminta untuk mendengarkan cerita baru atau membayangkan menceritakan sebuah cerita, yang kemudian memungkinkan mesin untuk menghasilkan teks yang sesuai berdasarkan aktivitas otak saja.
“Metode ini merupakan terobosan nyata dalam hal non-invasif dibandingkan dengan apa yang telah dilakukan sebelumnya, yang pada umumnya hanya dapat menerjemahkan kata-kata tunggal atau kalimat pendek,” ungkap Alex. Lebih lanjut, dia menjelaskan, “Kami berhasil menciptakan model yang dapat memecahkan kode bahasa berkelanjutan selama periode waktu yang lama dengan ide yang rumit.”
Hasil Peneltian
Hasil penelitian ini sangat memuaskan. Dekoder Semantik tidak memberikan jawaban dalam bentuk transkripsi kata per kata. Sebaliknya, para peneliti merancangnya untuk menangkap inti dari apa yang dikatakan atau dipikirkan, meskipun tidak secara sempurna.
Bahkan dalam beberapa kasus, ketika dekoder dilatih untuk memantau aktivitas otak peserta, mesin dapat menghasilkan teks yang sangat mirip dan kadang-kadang sesuai dengan arti yang dimaksudkan dari kata-kata aslinya.
Misalnya, dalam salah satu percobaan, seorang peserta yang mendengarkan pembicara yang berkata, “Saya belum memiliki SIM,” diterjemahkan sebagai, “Dia bahkan belum mulai belajar mengemudi.”
Atau ketika mendengar kata-kata, “Saya tidak tahu apakah harus berteriak, menangis atau melarikan diri. Sebaliknya, saya berkata, ‘Tinggalkan aku sendiri!'”, diterjemahkan sebagai, “Mulai menjerit dan menangis, dan kemudian dia hanya berkata, ‘Aku menyuruhmu meninggalkan aku sendiri.'”
Dalam makalah yang telah diterbitkan, para peneliti memberikan tanggapan terhadap kekhawatiran potensial mengenai penyalahgunaan teknologi ini. Mereka menjelaskan bahwa dekoding hanya berfungsi ketika subjek bersedia dan kooperatif dalam mengikuti proses pelatihan. Hasil dekoding tidak dapat dipahami jika seseorang belum menjalani pelatihan dekoder, dan jika peserta yang telah dilatih dekoder melakukan perlawanan dengan mengarahkan pikiran mereka ke hal-hal lain, hasilnya juga tidak dapat digunakan.
“Kami sangat serius mengenai kekhawatiran bahwa teknologi ini dapat disalahgunakan, dan kami telah berusaha untuk mencegah hal itu,” kata Jerry. Lebih lanjut, ia menjelaskan, “Kami ingin memastikan bahwa orang hanya menggunakan teknologi ini ketika mereka benar-benar menginginkannya dan teknologi ini dapat memberikan manfaat bagi mereka.”
Selain meminta peserta untuk mendengarkan atau membayangkan cerita, para peneliti juga meminta subjek untuk menonton empat video pendek tanpa suara ketika berada di dalam pemindai. Dekoder semantik dapat menggunakan aktivitas otak peserta untuk menggambarkan peristiwa yang terjadi dalam video dengan akurat.
Namun, ada kekurangan dalam teknologi kecerdasan buatan ini yang membuatnya belum praktis digunakan di luar laboratorium, yaitu ketergantungannya pada mesin fMRI. Meskipun demikian, para peneliti percaya bahwa pekerjaan ini dapat ditransfer ke sistem pencitraan otak lain yang lebih portabel, seperti Functional near-infrared spectroscopy (fNIRS), yang menggunakan teknik pencitraan optik noninvasif untuk mengukur perubahan konsentrasi hemoglobin dalam otak melalui spektrum serapan karakteristik hemoglobin dalam rentang inframerah dekat.
“fNIRS mengukur di mana aliran darah di otak lebih banyak atau lebih sedikit pada waktu yang berbeda, dan ternyata sinyal ini persis sama dengan yang diukur oleh fMRI,” jelas Alex. “Oleh karena itu, pendekatan yang kami gunakan sekarang harus dapat diterjemahkan ke fNIRS.” Meskipun begitu, ia mengakui bahwa resolusi fNIRS akan lebih rendah.
Proyek Dekoder Semantik ini didukung oleh Whitehall Foundation, Alfred P. Sloan Foundation, dan Burroughs Wellcome Fund. Alexander Huth dan Jerry Tang telah mengajukan permohonan paten PCT terkait pekerjaan ini.
Untuk informasi lebih lanjut mengenai proyek ini, silakan kunjungi siaran pers lengkap di College of Natural Sciences.
