ABSTRAK Nama : Putri Ratriyani Shaniya Program Studi : Magister Ilmu Komputer Judul : Pelacakan Objek dengan Metode High Level Data Fusion untuk Penggabungan Citra RGB dan Termal Inframerah Berbasis Deep Learning. Pelacakan objek dengan menggunakan metode penggabungan dari citra visual RGB dan termal inframerah (TIR) menjadi bidang yang menarik untuk dipelajari oleh para peneliti dalam beberapa tahun terakhir karena kemampuannya untuk bertahan pada situasi dan kondisi sulit yang berkaitan dengan iluminasi cahaya seperti dalam keadaan gelap dan cuaca buruk yang tidak dapat dideteksi dengan hanya menggunakan citra RGB saja. Pada kondisi normal pelacakan objek dengan menggunakan citra RGB akan memiliki akurasi yang bagus, namun pada kondisi gelap dan cuaca buruk citra termal inframerah dapat membantu untuk tetap dapat melakukan pelacakan objek. Penggabungan keunggulan dari citra RGB dan termal inframerah diharapkan akan saling membantu untuk menutupi kelemahan dari masing-masing metode. Namun pencarian metode penggabungan terbaik dari kedua masukan tersebut masih merupakan tantangan tersendiri. Pada penelitian ini metode High Level Fusion dengan arsitektur DeepSORT dan Kalman Filter Hierarchical Estimator digunakan untuk menggabungkan citra RGB dan termal inframerah yang berfokus pada penggabungan hasil estimasi pelacakan objek dari kedua masukan. Dari hasil penelitian ini didapatkan sebuah arsitektur penggabungan metode pelacakan yang dapat mengoptimalkan hasil pelacakan dari kedua masukan dan tetap dapat bekerja ketika salah satu masukan tidak berfungsi. Kata Kunci: Pelacakan objek, RGB, termal inframerah, High Level Fusion, Kalman Filter.