ABSTRAK

Nama : Muhammad Alfhi Saputra Program Studi : Magister Ilmu Komputer Judul : Pengenalan Gerakan Isyarat Kata-Kata Dalam Kalimat Bahasa Isyarat Indonesia (Bisindo) Menggunakan Model Object Detection Pembimbing : Dr. Ir. Erdefi Rakun, M.Sc. Peran bahasa isyarat dalam kehidupan sosial sangat penting karena terdapat sebagian orang yang dengan kondisinya harus berkomunikasi dengan bahasa isyarat. Namun, tidak semua orang dapat menggunakan bahasa isyarat karena hal tersebut bukan sesuatu yang mudah untuk dipelajari. Oleh karena itu, diperlukan suatu media untuk menerjemahkan bahasa isyarat ke dalam bahasa natural yang dalam hal ini adalah bahasa isyarat indonesia (Bisindo) ke dalam Bahasa Indonesia. Media untuk mengenali bahasa isyarat atau sign language recoginition (SLR) diharapkan dapat mengenali gerakan-gerakan isyarat dengan tepat dan cepat. Untuk menghasilkan sistem yang diharapkan tersebut, penelitian ini mengembangkan sistem pengenalan Bisindo yang sudah pernah diteliti sebelumnya, tetapi terbatas pada dataset dengan latar belakang greenscreen saja. Pada penelitian lainnya, dengan dataset Sistem Isyarat Bahasa Indonesia (SIBI) dibuktikan bahwa sistem sebelumnya tidak dapat bekerja dengan baik pada dataset dengan latar belakang natural atau kompleks. Masalah itulah yang menjadi fokus pada penelitian ini. Maka, diusulkan penggunaan model object detection pada sistem pengenalan bahasa isyarat. Model yang digunakan adalah Faster RCNN dan YOLOv5. Hasil terbaik yang didapatkan adalah sistem dengan YOLOv5 dengan nilai Sentence Accuracy (SAcc) 49.29%, SacreBLEU 67.77%, dan Word Error Rate (WER) 16.42% dengan waktu komputasi 0.0188 detik. Hasil tersebut terbukti secara signifikan lebih baik daripada model baseline. Kata Kunci: Bahasa Isyarat Indonesia, Bisindo, Deteksi Objek, Pengenalan Bahasa Isyarat