ABSTRAK Nama : Ridwan Andi Kambau Program Studi : Doktor Ilmu Komputer Judul : Sistem Temu Kembali Informasi Multimedia Terpadu berbasis Konsep Pembimbing : Prof. Zainal Arifin Hasibuan Sistem Temu Kembali Informasi (STKI) tradisional tidak cukup lagi untuk memenuhi kebutuhan informasi pengguna. Volume dan struktur informasi multimedia mengalami peningkatan yang tidak terpikirkan dan terdapat hubungan semantik antar-media. Untuk menemukan kembali informasi semantik antar-media adalah sebuah tantangan. Tulisan ini mengeksplorasi Sistem Temu Kembali Informasi Multimedia Terpadu Berbasis Konsep (STKIM-TBK). STKIM-TBK menggunakan hubungan semantik antar-media informasi dan teknik deep learning untuk mengungkap struktur informasi multimedia yang mungkin ada. Penelitian ini mengusulkan solusi untuk mengakses berbagai koleksi objek multimedia terdistribusi dan menyajikan secara komprehensif objek warisan budaya dalam empat jenis media, teks, gambar, audio, dan video yang direpresentasikan sebagai Konsep. STKIM-TBK menggunakan ontologi untuk menyediakan kosa kata, struktur informasi, dan membangun hubungan antar-konsep pada media yang berbeda. Koleksi objek warisan budaya digunakan sebagai domain penelitian ini. Relasi Ontologi STKIM-TBK memiliki tiga proses utama; Pertama adalah Proses Pengindeksan yang terdiri dari mengumpulkan objek multimedia, pembuatan dataset, mengekstraksi deskrispsi teks dan fitur multimedia dan mengklasifikasikan konsep-konsep dengan Convolutional Neural Network (CNN) dan Recurrent Neural Network (RNN). Objek-objek dalam Konsep terklasifikasi diindeks dan disimpan pada Objek Terindeks. Kedua adalah Pemrosesan Kueri yang terdiri dari penginputan objek multimedia dan mengenalinya sebagai objek dalam suatu konsep terklasifikasi. Ketiga adalah Proses Temu Kembali yang mencocokkan objek terklasifikasi dari input multimedia pada Pemrosesan Kueri dengan Objek-objek dalam Objek Terindeks menggunakan Skema Ontologi. Pengindeksan Terpadu membuat model pengklasifikasi multimedia untuk mengenali dan mengklasifikasi teks, citra, audio, dan video dengan melatih tiga lapisan arsitektur CNN dan 50 lapisan arsitektur RNN menggunakan dataset enam objek pada empat media dari tiga etnis di Indonesia. STKIM-TBK yang merepresentasi konsep dapat mewakili semua fitur dari empat media sekaligus. Skema Ontologi menggunakan teknik Desain Ontologi Sederhana untuk mengorganisasi konsep-konsep terkait dengan konsep yang lain pada etnis yang sama. Relasi Ontologi STKIM-TBK menunjukkan kemampuan sistem mengekstraksi fitur dari empat representasi media menjadi suatu Konsep dan meningkatkan fleksibilitas struktur klasifikasi warisan budaya UNESCO untuk mencari objek terkait yang lebih banyak. Kata Kunci : Sistem Temu Kembali Informasi (SSTKI), Sistem Temu Kembali Informasi Multimedia(STKIM), Ontologi, STKIM berbasis Konsep.