Nama : Boy Di Cario Brev William Fiden Saragih Program Studi : Sistem Informasi Judul : Penerapan Single Stream Network dan Two Stream Network dengan Pendekatan Transfer Learning dalam Sistem Pengenalan dan Penerjemahan Bahasa Isyarat Indonesia (Bisindo) Pembimbing : Dr. Ir. Erdefi Rakun, M.Sc. Dr. Kurniawati Azizah, S.T., M.Phil. Bisindo adalah bahasa isyarat yang banyak digunakan oleh komunitas tuli di Indonesia untuk berinteraksi secara nonverbal. Struktur bahasa pada Bisindo sangat berbeda dengan Bahasa Indonesia yang biasa digunakan oleh orang dengar. Hal ini menyebabkan adanya gap antara komunitas tuli dengan orang dengar dalam berkomunikasi. Penelitian ini mengembangkan model pengenal dan penerjemah bahasa isyarat (SLRT) untuk Bisindo dengan menerapkan arsitektur Single Stream Network dan Two Stream Network yang sukses digunakan pada German Sign Language (DGS). Model ini dilatih pada dataset Bisindo-2024 yang berisikan 96 kalimat yang mengandung kata kerja berarah. Penelitian ini menghasilkan model SLRT yang meraih skor 62.30 pada BLEU-4 dan 71.00 pada ROUGE. Hasil penelitian ini menunjukkan bahwa performa Two Stream Network mengungguli Single Stream Network sejauh 10.86 pada BLEU-4 dan 7.01 pada ROUGE. Selain itu, penelitian ini juga membuktikan bahwa pendekatan transfer learning berhasil meningkatkan performa model secara signifikan. Melalui penelitian ini juga dibuktikan bahwa model yang dilatih secara end-to-end memiliki performa yang lebih baik dibanding model pipeline. Penelitian ini adalah yang pertama menerapkan model SLRT pada Bisindo, sehingga memberikan kontribusi baru dalam bidang ini.

Name : Boy Di Cario Brev William Fiden Saragih Study Program : Information System Title : Implementation of Single Stream Network and Two Stream Network with Transfer Learning Approach for Indonesian Sign Language (Bisindo) Recognition and Translation Counsellors : Dr. Ir. Erdefi Rakun, M.Sc. Dr. Kurniawati Azizah, S.T., M.Phil. Bisindo is a sign language widely used by the deaf community in Indonesia to interact nonverbally. The language structure of Bisindo is very different from the Indonesian language commonly used by hearing people. This causes a gap in communication between the deaf community and hearing people. This research develops a sign language recognition and translation model (SLRT) for Bisindo by applying the Single Stream Network and Two Stream Network architectures successfully used in German Sign Language (DGS). This model is trained on the Bisindo-2024 dataset containing 96 sentences with verb agreement. This research produced an SLRT model that achieved scores of 62.30 on BLEU-4 and 71.00 on ROUGE. The results of this research show that the performance of the Two Stream Network outperformed the Single Stream Network by 10.86 on BLEU-4 and 7.01 on ROUGE. Additionally, this research also proves that the transfer learning approach significantly improved the model's performance. This research also demonstrates that an end-to-end trained model performs better than a pipeline model. This research is the first to apply the SLRT model to Bisindo, thus providing a new contribution to this field.