Nama : Tusty Nadia Maghfira Program Studi : Doktor Ilmu Komputer Judul : Model Klasifikasi Multimodal Attachment Style Pada Dewasa Muda Berbasis Gabungan Emotion Embedding Perilaku Non-Verbal dan Rating Kuesioner ECR-RS Pembimbing : Prof. Drs. T. Basaruddin, M.Sc., Ph.D., Dr. Sri Redatin Retno Pudjiati, M.Si., Psikolog Attachment merupakan representasi hubungan kedekatan emosional seseorang dengan figur penting dalam hidupnya yang terbentuk dari akumulasi interaksi keduanya dalam waktu yang lama. Attachment merupakan salah satu aspek penting yang mempengaruhi perkembangan diri dan interaksi sosial selama hidup. Penelitian adult attachment di psikologi selama ini umumnya menggunakan kuesioner dan wawancara. Alat ukur tersebut berfokus pada pengamatan romantis saja atau hubungan dengan orang tua saat masa kecil. Pendekatan konvensional ini masih memiliki keterbatasan yaitu respons dapat hadir dalam bentuk harapan terhadap nilai ideal di masyarakat, atau kebohongan untuk menutupi keadaan sesungguhnya. Hal ini melatarbelakangi pengamatan attachment berdasarkan perilaku non-verbal dengan pendekatan social signal processing (SSP). Penelitian attachment berbasis SSP masih terbatas, dan penelitian yang ada belum menjelaskan bagaimana representasi perilaku untuk inferensi attachment style. Selain itu, penelitian tersebut menggunakan respons dari pengamatan konvensional sebagai ground truth. Dengan latar belakang tersebut, penulis mengusulkan pengembangan model klasifikasi multimodal attachment style berdasarkan gabungan emotion embedding perilaku ekspresi wajah dan prosodi suara dengan representasi rating kuesioner. Model usulan ini menggunakan Video Swin Transformer untuk mempelajari emotion embedding pada data video dan ResNet50 untuk emotion embedding pada data audio. Emotion embedding yang telah dilatih dengan cukup baik digabungkan dengan rating kuesioner menggunakan teknik Concatenation. Dengan penggabungan data tersebut, hasil evaluasi model usulan klasifikasi multimodal memiliki performa yang lebih unggul dibandingkan model klasifikasi unimodal dengan peningkatan sebesar 1.09%. Rerata hasil terbaik dicapai oleh gabungan semua modalitas dengan f1 sebesar 0.8392. Secara keseluruhan, model yang diusulkan berhasil mengklasifikasikan attachment style dengan akurat pada berbagai data subjek dewasa muda Indonesia dengan status demografis yang bervariasi. Namun, performa model masih belum optimal dalam menangkap semua keberagaman perilaku setiap individu karena keterbatasan sampel data setiap karakteristik attachment style. Pengembangan model usulan ini menjadi landasan terbukanya penelitian multimodal attachment berbasis SSP di Indonesia khususnya pengembangan lebih lanjut pada aspek representasi emosi, fusion, dan data perilaku attachment. Kata Kunci: attachment, ekspresi wajah, prosodi suara, multimodal, emotion