ABSTRAK Nama : Noer Fitria Putra Setyono Program Studi : Magister Ilmu Komputer Judul : Pengenalan Gerakan Isyarat Kata pada Kalimat SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Deep Convolutional Neural Network sebagai Ekstraksi Fitur dan Long Short-Term Memory sebagai Metode Klasifikasi SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM. Kata Kunci: SIBI, Pengenalan Bahasa Isyarat, DeepCNN, Ekstraksi Fitur, ResNet50, MobileNetV2, BiLSTM viii