ABSTRAK
Nama : Andros Tjandra
Program Studi : Ilmu Komputer
Judul : Parametric Gating dan Recurrent Asymmetric and Symmetric
Bilinear Neural Network untuk Pengolahan Bahasa Natural
Recurrent Neural Network (RNN) adalah salah satu algoritma machine learning
yang dapat memodelkan input yang memiliki dependensi secara temporal. Penerapan
algoritma RNN pada permasalahan khususnya pada bidang NLP seperti language
modelling, part-of-speech tagging, natural language understanding / information
extraction, dll.
Berbagai algoritma RNN telah dikembangkan selama beberapa dekade terakhir,
mulai dari short-term dependency RNN yaitu RNN standar hingga penggunaan gating
terhadap informasi yang membuat RNN dapat memiliki long-term dependency,
lalu trik untuk melakukan training terhadap recurrent parameter juga berguna untuk
meningkatkan performa dari model RNN.
Pada penelitian ini, penulis bertujuan mengembangkan 2 algoritma untuk
meningkatkan performa RNN. Pertama adalah modifikasi terhadap fungsi aktivasi
yang digunakan oleh RNN yaitu terhadap fungsi logistic dan memberikan parameter
terhadap fungsi tersebut secara independen antar unit dan dapat dioptimisasi,
yang penulis sebut sebagai parametric gating. Kedua adalah menambahkan bilinear
tensor pada perhitungan recurrent hidden layer sebagai parameter yang dapat
memodelkan interaksi antara hidden layer sebelumnya / sesudahnya dengan input
layer saat ini.
Evaluasi dilakukan pada 3 dataset berbeda. Eksperimen pertama dilakukan
pada dataset ATIS dan terbaik diperoleh algoritma GRURTABNN dengan akurasi
94.61% F1-score. Eksperimen kedua dilakukan pada dataset IMDB Movie Sentiment
Review dan hasil terbaik diperoleh algoritma GRURTABNN dengan akurasi
88.96%. Evaluasi terakhir dilakukan pada dataset PennTreebank untuk language
modelling dan hasil terbaik diperoleh algoritma GRURTABNN dengan perplexity
terendah yaitu 69.08 PPL.
Kata Kunci:
recurrent neural network, machine learning, natural language processing
|
|