ABSTRAK Nama : Imam Maulana Akbar Rachbini Program Studi : Ilmu Komputer Judul : Sistem Pengenal Wicara Otomatis Bahasa Indonesia Menggunakan Metode End-to-End Neural Network Salah satu kebutuhan manusia sebagai mahluk sosial adalah berinteraksi satu sama lain, contohnya dengan komunikasi melalui percakapan verbal. Perkembangan pada bidang interaksi manusia dan komputer mendorong penelitian sistem pengenal wicara otomatis, yaitu suatu sistem yang menerima masukan berupa rekaman wicara manusia dan menghasilkan teks representasi rekaman wicara tersebut. Sistem pengenal wicara otomatis tradisional masih menggunakan model akustik seperti Hidden Markov Model (HMM) beserta beberapa komponen pendukungnya yang membutuhkan usaha engineering yang rumit untuk menciptakan pipeline yang utuh. Penelitian ini mengimplementasikan sistem pengenal wicara otomatis pada bahasa Indonesia dengan pendekatan end-to-end yang memanfaatkan Artificial Neural Network (ANN) untuk memangkas pipeline engineering yang rumit tersebut. Korpus wicara yang digunakan pada penelitian ini diperoleh dari penelitian sebelumnya. Penelitian ini fokus pada domain umum sehingga digunakan korpus wicara pada domain umum, namun juga digunakan korpus pada domain medis sebagai data pendukung. Selain itu, digunakan model bahasa pada proses decoding unuk mengetahui pengaruh penggunaan model bahasa pada performa sistem pengenal wicara. Arsitektur metode end-to-end yang digunakan pada penelitian ini yaitu kombinasi antara Convolutional Neural Network (CNN) ditambah dengan Gated Recurrent Unit (GRU) yang merupakan salah satu variasi Recurrent Neural Network (RNN). Sedangkan arsitektur lainnya memanfaatkan kombinasi antara Fully Connected (FC) layer yang digabungkan dengan GRU. Kedua arsitektur tersebut menggunakan fungsi loss Connectionist Temporal Classification (CTC) yang memungkinkan proses training tanpa dilakukan pelabelan eksplisit pada setiap data wicara. Skenario training yang dilakukan menggunakan training set TITML-IDN dan training set gabungan antara TITML-IDN dan MEDISCO. Hasil eksperimen menggunakan arsitektur FC layer dan GRU menunjukkan Word Error Rate (WER) terbaik yaitu sebesar 43,65% pada testing set MEDISCO. Penelitian ini telah berhasil mengimplementasikan sistem pengenal wicara otomatis dengan metode end-to-end pada bahasa Indonesia. Selain itu, penelitian ini juga membuktikan bahwa penggunaan training set yang semakin banyak dan juga model bahasa dapat meningkatkan performa sistem pengenal wicara otomatis. Kata Kunci: Pengenal Wicara Otomatis, Artificial Neural Network (ANN), Convolutional Neural Network (CNN), Gated Recurrent Unit (GRU)