ABSTRAK
ABSTRAK
Nama : Lintang Adyuta Sutawika
Program Studi : Magister Ilmu Komputer
Judul : Concept-Map Visual Encoder Actor-Critic Reinforcement
Learning dengan berbasis Visual-Semantic Embedding Reward untuk Image Captioning
Karya ini menggunakan encoder visual berbasis Concept-Map yang menanggulangi masalah penghubungan informasi dari citra yang telah di-encode oleh sebuah
jaringan saraf tiruan konvolusional ke dalam ranah semantik yang diproses oleh jarinagn saraf tiruan berbasis waktu. Pendekatan ini menggunakan komponen attention visual yang mengembangkan jaringan konvolusional sebelum dipropagasi ke
jaringan berbasis waktu. Untuk meningkatkan pembelajaran cross-entropy, model
dilatih dengan metode reinforcement learning dengan cara melatih value dan policy network berdasarkan jarak visual-semantic embedding distance dari representasi
vector sebagai sinyal reward. Visual-semantic embedding space belajar dan menghasilkan vector space untuk citra dan teks, lalu digunakan sebagai tolak ukur qualitas suatu teks yang mendeskripsikan suatu citra. Sinyal reward membantu mengarahkan dan memaksimalkan probabilitas suatu deskripsi bagus muncul. Dataset
yang digunakan adalah Flickr8k dan metric yang dilaporkan adalah BLEU-1 hingga
BLEU-4.
Kata Kunci: Keywords: deskripsi citra, pemelajaran mesin, flickr8k
|