ABSTRAK

Nama : Geoffrey Tyndall Program Studi : Ilmu Komputer Judul : Pendekatan Continual Learning dalam Machine Speech Chain Menggunakan Gradient Episodic Memory Pembimbing : Dr. Kurniawati Azizah, S.T., M.Phil. Dr.-Ing. Sakriani Sakti Machine Speech Chain (Speech Chain) adalah arsitektur yang menghubungkan model sequence-to-sequence Automatic Speech Recognition (ASR) dan Text-to-Speech (TTS) dalam closed-loop. Speech Chain memungkinkan terjadinya pemelajaran semisupervised karena dapat menerima data berlabel (supervised) dan data tidak berlabel (unsupervised). Dalam penelitian ini, penulis mengajukan suatu pendekatan paradigma, yaitu continual learning untuk memungkinkan Speech Chain melakukan pemelajaran ASR secara kontinu (self-improvement) dengan mampu beradaptasi terhadap kehadiran task baru yang berbeda dan tetap mempertahankan kemampuan yang telah dimiliki pada pemelajaran task sebelumnya. Permasalahan yang diangkat untuk merepresentasikan kondisi task berbeda adalah kehadiran noise dalam suara yang akan dikenali oleh ASR. Pada penelitian ini data dengan noise akan menjadi task baru untuk dipelajari oleh model. Metode Gradient Episodic Memory (GEM) digunakan sebagai implementasi paradigma continual learning. Rangkaian eksperimen menunjukkan model ASR dengan skenario continual learning dalam pemelajaran Speech Chain dapat mencapai hasil lebih baik dibandingkan proses umum transfer learning. Hasil ini menunjukkan potensi penerapan continual learning dalam Speech Chain, seperti penggunaan GEM yang didemonstrasikan oleh penelitian ini. Framework pemelajaran yang telah diajukan untuk pemelajaran continual learning dalam eksperimen Speech Chain menggunakan GEM adalah general framework yang dapat diaplikasikan pada berbagai task pemelajaran. Kata kunci: Machine Speech Chain, Continual Learning, Gradient Episodic Memory