Inovasi Berbahasa Isyarat Pakai Webcam Penerjemah Gerak Tangan

Bahasa isyarat menjadi salah satu media yang dapat membantu teman tuli atau para tunarungu dalam berkomunikasi.

Salah satu bahasa isyarat yang digunakan di Indonesia yakni Sistem Isyarat Bahasa Indonesia (SIBI). SIBI merupakan salah satu media yang membantu komunikasi para tunarungu di dalam masyarakat yang lebih luas.

Selain itu, SIBI juga dapat digunakan untuk membantu anak-anak dalam mengenal bahasa.

Untuk itu, dua mahasiswa S1 Prodi Teknik Komputer Universitas Dinamika (Undika) membuat sebuah program berbasis Deep Learning bernama Hand Gesture Detection. Dua mahasiswa tersebut adalah Muhammad Rifki Pratama Nautica dan Akbar Mahardi Hidayatullah.

Rifki menuturkan, program yang diperuntukkan bagi anak usia dini ini dibuat agar proses pembelajaran dapat berjalan lebih efektif namun tetap dengan cara yang menyenangkan.

“Idenya itu karena saat pandemi saya melihat adik saya yang berusia PAUD mengalami learning lost, dimana materi yang disampaikan guru secara daring kurang tersampaikan dengan menarik,” tutur Rifki, Kamis (13/10).

Melalui Program Hand Gesture Detection ini, para pengguna yang targetnya adalah anak-anak usia dini dapat mengetahui jumlah angka secara real time dengan hanya memperlihatkan jari di layar kaca laptop. “Script-nya sudah tersedia dan tinggal diinstall di laptop saja,” terang Rifki.

Rifki menjelaskan bahwa pengguna yang ingin mencoba program ini harus menyiapkan webcam pada perangkat laptop atau PC serta menginstall program bernama Jupiter terlebih dahulu.

“Nanti setelah terinstall maka pengguna tinggal mengarahkan jari ke webcam maka secara langsung akan muncul landmark atau kerangka tangan untuk ditentukan oleh komputer berapa jari yang terlihat,” jelasnya.

Jumlah jari yang terhitung oleh program tersebut adalah jari yang terdeteksi tegak oleh perangkat yang digunakan.

Senada dengan Rifki, Akbar Mahardi Hidayatullah juga membuat inovasi serupa namun dikemas dengan konsep yang sedikit berbeda.

Akbar membuat sebuah program untuk bisa membaca bahasa isyarat melalui aplikasi Sistem Deteksi Simbol SIBI. Melalui aplikasi ini, penyandang tunarungu dan tunawicara bisa menyampaikan pesan kepada orang lain melalui gerak tangan yang ditampilkan dan diterjemahkan dalam aplikasi.

“Di aplikasi ini ada enam kata yang sudah saya setting yaitu aku, kamu, dia, cinta, maaf dan sedih,” jelasnya.

Berawal dari ketertarikannya di mata kuliah Sistem Cerdas dan juga melihat penelitian kakak tingkat sebelumnya, ia tertarik untuk mengembangkan aplikasi ini.

Bedanya, pada penelitian sebelumnya menggunakan metode klasifikasi image yaitu menggunakan media gambar lalu di proses ke aplikasi baru keluar arti gerakan tangannya.

“Sedangkan punya saya pakai metode deteksi objek secara realtime, jadi dari live kamera bisa langsung muncul arti dari gerakan tangannya,” tutur Akbar.

Meskipun demikian, masih ada beberapa hal yang perlu diperbaiki seperti kurangnya fokus yang ditangkap oleh komputer saat latar belakang pengguna ramai objek sehingga tidak dapat mengidentifikasi gerak bahasa isyarat.

“Ya semoga nanti adik tingkat ada yang mau meneruskan dan mengembangkan agar kekurangan ini bisa diminimalisir,” tukasnya.