ABSTRAK Nama : Rehan Hawari Program Studi : Ilmu Komputer Judul : Deteksi Aktivitas Jatuh pada Dataset Multimodal Menggunakan Arsitektur Convolutional Neural Netwok dan Long Short Term Memory Jatuh merupakan penyebab utama kedua cedera dan kematian yang tidak disengaja di seluruh dunia. Kejadian ini sering terjadi pada lansia dan frekuensinya meningkat setiap tahun. Sistem pendeteksi aktivitas jatuh yang reliabel dapat mengurangi risiko cedera yang dialami. Mengingat jatuh adalah kejadian yang tidak dikehendaki atau terjadi secara tiba-tiba, sulit untuk mengumpulkan data jatuh yang sebenarnya. Deteksi jatuh juga sulit karena kemiripannya dengan beberapa aktivitas seperti jongkok, dan mengambil objek dari lantai. Selain itu, beberapa tahun belakangan dataset mengenai aktivitas jatuh yang tersedia secara publik juga terbatas. Oleh karena itu, di tahun 2019, beberapa peneliti mencoba membuat dataset jatuh yang komprehensif yang mensimulasikan kejadian yang sebenarnya dengan menggunakan perangkat kamera dan sensor. Dataset yang dihasilkan dataset multimodal bernama UP-Fall. Menggunakan dataset tersebut, penelitian ini mencoba mendeteksi aktivitas jatuh dengan pendekatan Convolutional Neural Network (CNN) dan Long Short Term Memory (LSTM). CNN digunakan untuk mendeteksi informasi spasial dari data citra, sedangakan LSTM digunakan untuk mengeksploitasi informasi temporal dari data sinyal. Kemudian, hasil dari kedua model digabungkan dengan strategi majority voting. Berdasarkan hasil evaluasi, CNN memperoleh akurasi sebesar 98,49% dan LSTM 98,88%. Kedua model berkontribusi kepada performa strategi majority voting sehingga mendapatkan akurasi (98,31%) yang melebihi akurasi baseline (96,4%). Metrik evaluasi lain juga meningkat seperti precision naik 11%, recall 14%, dan F1-score 12% jika dibandingan dengan baseline. Kata kunci: jatuh, dataset multimodal UP-Fall, Convolutional Neural Network, Long Short Term Memory, majority voting