ABSTRAK
Nama : Muhammad Alfhi Saputra
Program Studi : Magister Ilmu Komputer
Judul : Pengenalan Gerakan Isyarat Kata-Kata Dalam Kalimat Bahasa Isyarat
Indonesia (Bisindo) Menggunakan Model Object Detection
Pembimbing : Dr. Ir. Erdefi Rakun, M.Sc.
Peran bahasa isyarat dalam kehidupan sosial sangat penting karena terdapat sebagian
orang yang dengan kondisinya harus berkomunikasi dengan bahasa isyarat. Namun, tidak
semua orang dapat menggunakan bahasa isyarat karena hal tersebut bukan sesuatu yang
mudah untuk dipelajari. Oleh karena itu, diperlukan suatu media untuk menerjemahkan
bahasa isyarat ke dalam bahasa natural yang dalam hal ini adalah bahasa isyarat indonesia
(Bisindo) ke dalam Bahasa Indonesia. Media untuk mengenali bahasa isyarat atau sign
language recoginition (SLR) diharapkan dapat mengenali gerakan-gerakan isyarat
dengan tepat dan cepat. Untuk menghasilkan sistem yang diharapkan tersebut, penelitian
ini mengembangkan sistem pengenalan Bisindo yang sudah pernah diteliti sebelumnya,
tetapi terbatas pada dataset dengan latar belakang greenscreen saja. Pada penelitian
lainnya, dengan dataset Sistem Isyarat Bahasa Indonesia (SIBI) dibuktikan bahwa sistem
sebelumnya tidak dapat bekerja dengan baik pada dataset dengan latar belakang natural
atau kompleks. Masalah itulah yang menjadi fokus pada penelitian ini. Maka, diusulkan
penggunaan model object detection pada sistem pengenalan bahasa isyarat. Model yang
digunakan adalah Faster RCNN dan YOLOv5. Hasil terbaik yang didapatkan adalah
sistem dengan YOLOv5 dengan nilai Sentence Accuracy (SAcc) 49.29%, SacreBLEU
67.77%, dan Word Error Rate (WER) 16.42% dengan waktu komputasi 0.0188 detik.
Hasil tersebut terbukti secara signifikan lebih baik daripada model baseline.
Kata Kunci:
Bahasa Isyarat Indonesia, Bisindo, Deteksi Objek, Pengenalan Bahasa Isyarat
|