ABSTRAK Nama : Faldiena Marcelita Program Studi : Magister Ilmu Komputer Judul : Pengenalan Kata Dalam Sistem Isyarat Bahasa Indonesia Menggunakan Hidden Markov Model Dioptimasi dengan Genetic Algorithm Berbasis On-Line Incremental Learning Sistem pengenalan kata dalam Sistem Isyarat Bahasa Indonesia (SIBI) sangat dibutuhkan untuk menjembatani komunikasi pengguna bahasa isyarat dengan bahasa lisan. Pada penelitian ini, data masukan sistem berupa file video dari kamera kemudian dilakukan ekstraksi fitur dan kuantisasi untuk memperoleh simbol diskrit. Selanjutnya data diskrit tersebut diproses dengan metode Hidden Markov Model (HMM) yang dilengkapi dengan codebook yang dibangun dengan metode K-means clustering. Training pada model HMM dilakukan dengan pendekatan algoritma Baum-Welch dan Genetic Algorithm (GA). Model HMM yang dibangun berbasis on-line incremental learning yang dapat memperbaharui model ketika tersedia data training untuk kelas baru. Hasil eksperimen memperlihatkan bahwa training HMM oleh GA memiliki performansi lebih baik daripada algoritma Baum-Welch dengan nilai akurasi tertinggi untuk 500 iterasi training dengan GA 69% sedangkan Baum-Welch 57%. Jumlah iterasi yang lebih sedikit bisa diterapkan pada on-line incremental learning jika ada kebutuhan waktu training yang lebih singkat dengan konsekuensi turunnya akurasi. Sistem dapat bekerja dengan baik jika data tambahan berbeda dengan data sebelumnya namun sistem tidak bisa membedakan data baru jika memiliki kemiripan. Nilai akurasi tertinggi diperoleh pada pemilihan kelas “bayi”, “malam”, “nenek”, “pagi”, “jual”, “luar”, dan “selamat” pada model 0 yaitu 85% untuk metode usulan dan 90% untuk metode referensi. Kata Kunci: SIBI, video, K-means, HMM, GA, on-line incremental learning