Library Automation and Digital Archive
LONTAR
Fakultas Ilmu Komputer
Universitas Indonesia

Pencarian Sederhana

Find Similar Add to Favorite

Call Number T-1126 (Sofcopy T-835) Source Code T-238
Collection Type Tesis
Title Parametric gating dan recurrent tensor asymetric and symetric bilinear neural network untuk pengolahan bahasa natural
Author Andros Tjandra;
Publisher Depok: Fakultas Ilmu Komputer, 2015
Subject
Location FASILKOM-UI;
Lokasi : Perpustakaan Fakultas Ilmu Komputer
Nomor Panggil ID Koleksi Status
T-1126 (Sofcopy T-835) Source Code T-238 TERSEDIA
Tidak ada review pada koleksi ini: 42855
ABSTRAK Nama : Andros Tjandra Program Studi : Ilmu Komputer Judul : Parametric Gating dan Recurrent Asymmetric and Symmetric Bilinear Neural Network untuk Pengolahan Bahasa Natural Recurrent Neural Network (RNN) adalah salah satu algoritma machine learning yang dapat memodelkan input yang memiliki dependensi secara temporal. Penerapan algoritma RNN pada permasalahan khususnya pada bidang NLP seperti language modelling, part-of-speech tagging, natural language understanding / information extraction, dll. Berbagai algoritma RNN telah dikembangkan selama beberapa dekade terakhir, mulai dari short-term dependency RNN yaitu RNN standar hingga penggunaan gating terhadap informasi yang membuat RNN dapat memiliki long-term dependency, lalu trik untuk melakukan training terhadap recurrent parameter juga berguna untuk meningkatkan performa dari model RNN. Pada penelitian ini, penulis bertujuan mengembangkan 2 algoritma untuk meningkatkan performa RNN. Pertama adalah modifikasi terhadap fungsi aktivasi yang digunakan oleh RNN yaitu terhadap fungsi logistic dan memberikan parameter terhadap fungsi tersebut secara independen antar unit dan dapat dioptimisasi, yang penulis sebut sebagai parametric gating. Kedua adalah menambahkan bilinear tensor pada perhitungan recurrent hidden layer sebagai parameter yang dapat memodelkan interaksi antara hidden layer sebelumnya / sesudahnya dengan input layer saat ini. Evaluasi dilakukan pada 3 dataset berbeda. Eksperimen pertama dilakukan pada dataset ATIS dan terbaik diperoleh algoritma GRURTABNN dengan akurasi 94.61% F1-score. Eksperimen kedua dilakukan pada dataset IMDB Movie Sentiment Review dan hasil terbaik diperoleh algoritma GRURTABNN dengan akurasi 88.96%. Evaluasi terakhir dilakukan pada dataset PennTreebank untuk language modelling dan hasil terbaik diperoleh algoritma GRURTABNN dengan perplexity terendah yaitu 69.08 PPL. Kata Kunci: recurrent neural network, machine learning, natural language processing