ABSTRAK

ABSTRAK Nama : Ajeng Wulandari Program Studi : Magister Ilmu Komputer Judul : Pembangkit Caption Berbahasa Indonesia pada Suatu Citra Digital dengan Deep Learning dan Attention Mechanism Pembangkit caption adalah masalah yang melibatkan bidang computer vision dan natural language processing. Di sini tidak hanya mesin harus mengetahui apa saja objek yang terdapat dalam sebuah citra tetapi mesin juga harus dapat merangkai kata-kata sesuai dengan keterhubungan antar objek tersebut seperti bahasa manusia. Penelitian ini melakukan proses pembangkitan caption untuk suatu citra digital menggunakan deep learning dengan arsitektur encoder (CNN)-decoder (Bidirectional GRU) yang akan menambahkan attention mechanism layer di atasnya. Dataset yang digunakan adalah Flicker8k, dan Flicker30k yang diterjemahkan ke bahasa Indonesia serta beberapa tambahan data pariwisata Indonesia. Caption yang dihasilkan oleh model berhasil untuk mengeluarkan kata baru yang tidak ada di dataset namun masih sesuai konteks yang ada pada gambar. Nilai BLEU pada Flickr8k untuk model dengan attention adalah sebesar 0.065 sedangkan untuk model tanpa attention adalah sebesar 0.089. Walaupun BLEU score untuk model dengan attention lebih rendah dibandingkan dengan model tanpa attention tetapi caption yang dihasilkan oleh model yang menggunakan attention memiliki kosakata yang beragam dibandingkan model yang tidak menggunakan attention. Kata Kunci : Pembangkit Caption, Deep Learning, dan Attention Mechanism