ABSTRAK Nama : Lintang Adyuta Sutawika Program Studi : Magister Ilmu Komputer Judul : Concept-Map Visual Encoder Actor-Critic Reinforcement Learning dengan berbasis Visual-Semantic Embedding Reward untuk Image Captioning Karya ini menggunakan encoder visual berbasis Concept-Map yang menanggulangi masalah penghubungan informasi dari citra yang telah di-encode oleh sebuah jaringan saraf tiruan konvolusional ke dalam ranah semantik yang diproses oleh jarinagn saraf tiruan berbasis waktu. Pendekatan ini menggunakan komponen attention visual yang mengembangkan jaringan konvolusional sebelum dipropagasi ke jaringan berbasis waktu. Untuk meningkatkan pembelajaran cross-entropy, model dilatih dengan metode reinforcement learning dengan cara melatih value dan policy network berdasarkan jarak visual-semantic embedding distance dari representasi vector sebagai sinyal reward. Visual-semantic embedding space belajar dan menghasilkan vector space untuk citra dan teks, lalu digunakan sebagai tolak ukur qualitas suatu teks yang mendeskripsikan suatu citra. Sinyal reward membantu mengarahkan dan memaksimalkan probabilitas suatu deskripsi bagus muncul. Dataset yang digunakan adalah Flickr8k dan metric yang dilaporkan adalah BLEU-1 hingga BLEU-4. Kata Kunci: Keywords: deskripsi citra, pemelajaran mesin, flickr8k