ABSTRAK Nama : Erdefi Rakun Program Studi : Doktor Ilmu Komputer Judul : Pengenalan Komponen Imbuhan Dan Kata Dasar Pada Isyarat Kata Berimbuhan Dalam SIBI (Sistem Isyarat Bahasa Indonesia) dengan Menggunakan Probabilistic Graphical Models SIBI merupakan bahasa isyarat resmi bagi penyandang tunarungu di Indonesia. Dalam pembentukan isyarat, SIBI mengikuti aturan tata bahasa Indonesia, termasuk cara pembentukan kata berimbuhan dengan cara menambahkan isyarat imbuhan (awalan, akhiran dan partikel) ke isyarat kata dasar. Oleh karena banyak isyarat SIBI merupakan isyarat kata berimbuhan dan belum ada penelitian tentang kata berimbuhan SIBI, maka penelitian ini fokus pada membangun sistem penerjemah kata berimbuhan SIBI ke teks. Gerakan peraga isyarat ditangkap oleh kamera Kinect yang menghasilkan data color, depth dan skeleton. Data Kinect ini diolah menjadi fitur yang dipakai oleh model untuk mengenali gerakan. Sistem penerjemah memerlukan teknik ekstraksi fitur, yang dapat menghasilkan sebuah feature vector set dengan ukuran yang minimal tapi tetap mampu membedakan berbagai jenis isyarat SIBI. Penelitian ini berusaha untuk dapat memisahkan isyarat imbuhan dan kata dasar pada isyarat kata berimbuhan. Dengan kemampuan ini, sistem penerjemah menghasilkan 3 feature vector set: kata dasar, awalan dan akhiran. Tanpa pemisahan, feature vector set yang harus disediakan oleh sistem penerjemah sebanyak perkalian cartesian dari ketiga feature vector set tersebut. Perkalian ketiga set ini tentunya akan menghasilkan feature vector set total yang berukuran sangat besar. Model yang dicoba pada penelitian ini adalah Conditional Random Fields (CRF), Hidden Markov Model (HMM), Long Short-Term Memory Neural Networks (LSTM) dan Gated Recurrent Unit (GRU). Akurasi yang terbaik yang dicapai oleh masing-masing model adalah: 58.58% untuk CRF; 68.01% untuk Heuristic HMM; 67.64% untuk LSTM 1-layer; 77.04% untuk LSTM 2-layer; 73.8% untuk GRU 1-layer; 73.91% untuk GRU 2-layer. LSTM 2-layer merupakan model dengan akurasi terbaik (77.04%). Keunggulan dari LSTM terletak pada inputnya yang berupa sequence-of-frames dan setiap frame direpresentasi oleh fitur lengkap, bukan fitur hasil clustering. Model sequence-of-frames lebih cocok untuk SIBI, karena gerakan isyarat SIBI viii Universitas Indonesia memiliki long-term temporal dependencies. Error hasil prediksi banyak terjadi pada kelompok awalan (33.33%) dan akhiran (30.99%). Hal ini karena miripnya gerakan pada isyarat-isyarat imbuhan SIBI tersebut. LSTM 2-layer yang dipakai untuk mengenali kata dasar saja memberikan akurasi yang tertinggi (95.4%). Kata kunci: Kata berimbuhan, Bahasa Isyarat, SIBI, Conditional Random Fields, Hidden Markov Model, Long Short-Term Memory, Gated Recurrent Unit, Machine Learning, Deep Learning, Kinect.