ABSTRAK Nama : Fariz Ikhwantri Program Studi : Ilmu Komputer Judul : Pengenalan Objek dengan Convolutional Neural Network untuk Scoring Segmentasi Semantik Segmentasi semantik merupakan proses pelabelan citra untuk setiap piksel berdasarkan kelas semantik objek telah didefenisikan dan terdapat pada citra. Proses pelabelan segmentasi merupakan proses yang dapat dibagi atas proses pengenalan (recognition), deteksi, dan pelabelan piksel kelas pada citra. Pelabelan segmentasi semantik tidak selalu menghasilkan label prediksi yang tepat. Selain itu pengecekan kebenaran label prediksi terhadap dilakukan dengan membandingkan anotasi prediksi dengan ground truth. Berdasarkan hal tersebut, penelitian ini mengajukan model untuk melakukan prediksi score dari segmentasi semantik dengan melakukan pengenalan objek yang telah dianotasi. Prediksi ini dilakukan dengan menggunakan regresi untuk menghasilkan skor yang mengaproksimasi akurasi berdasarkan suatu metrik pengukuran. Prediksi dilakukan dengan mengekstrak fitur area objek hasil anotasi dari citra. Saat ini Convolutional Neural Network merupakan model state of the arts dalam pengenalan objek. Selain itu metode Convolutional Neural Network melakukan pembelajaran dari data atau low level feature. Berdasarkan hal tersebut, penulis mengajukan metode untuk pengenalan objek untuk memprediksi skor segmentasi semantik menggunakan fitur yang diekstrak dari Convolutional Neural Network. Eksperimen dilakukan dengan melatih Convolutional Neural Network menggunakan arsitektur weakly supervised dengan klasifikasi multiclass. Arsitektur ini menghasilkan akurasi 70% pada dataset PASCAL VOC 2012, hasil ini berdasarkan eksperimen cukup untuk melakukan ekstraksi fitur dengan menggunakan klasifikasi yang lebih baik seperti SVM. Hasil eksperimen menunjukan prediksi akurasi testing mempunyai Mean Square Error 0.026% . Kata Kunci: Convolutional Neural Network, Segmentasi Semantik, Recognition, Regresi