ABSTRAK Nama : Hilmy Abidzar Tawakal Program Studi : Magister Ilmu Komputer Judul : Holistic Scene Understanding: Joint Scene Classification, Object Detection and Semantic Segmentation Proses pengenalan terhadap lingkungan merupakan kemampuan yang dimiliki oleh manusia yang sulit untuk ditiru oleh mesin. Penelitian tentang bagaimana manusia mempersepsikan lingkungan banyak dilakukan untuk mewujudkan hal tersebut. Salah-satu topik penelitiannya adalah tentang scene understanding. Scene undertanding adalah proses pengenalan dan pemahaman terhadap suatu scene dengan menggabungkan beberapa sub-proses yang berupa metode pengenalan. Metodemetode pengenalan seperti klasifikasi konteks, pendeteksian objek, segmentasi, dan lain-lain digabungkan untuk menghasilkan suatu proses pemahaman yang holistik. Model scene understanding yang ada menggunakan metode top-down, bottom-up, atau keduanya. Metode yang diajukan dalam penelitian ini adalah metode yang menggabungkan antara klasifikasi konteks, segmentasi citra, deteksi objek, saliency detection, kedalam satu sistem untuk menghasilkan proses scene understanding yang menyeluruh dan saling memperkuat. Metode yang diajukan dalam penelitian ini mampu meningkatkan rata-rata f-measure tiap kelas dari metode state of the art hingga 9.09 persen, dan rata-rata f-measure global hingga 9.45 persen. Kata Kunci: scene understanding, klasifikasi konteks, deteksi objek, segmentasi semantik, saliency filter