ABSTRAK Nama : Ahmad Arinaldi Program Studi : Ilmu Komputer Judul : Sistem Deskripsi Video Menyontek Berdasarkan Sekuens Gestur Sederhana Aplikasi deskripsi video menggunakan teks merupakan salah satu bidang dalam pemelajaran mesin yang menggabungkan antara aspek penglihatan komputer dengan pengolahan bahasa manusia. Saat ini banyak aplikasi potensial deskripsi video disebabkan kayanya data multimedia dan perangkat untuk menghasilkan data tersebut (kamera, ponsel cerdas). Salah satunya adalah aplikasi deskripsi video menyontek. Dalam tesis ini diusulkan suatu metode untuk membangkitkan deskripsi teks dari video berdasarkan sekuens gestur aktor yang terlibat dalam suatu kejadian. Dalam hal ini, dilakukan proses 2 tahap, dimana pertama dilakukan pengenalan gestur dengan 3DCNN dan XGBoost dan kedua dilakukan pembangkitan teks deskripsi dengan LSTM berdasarkan sekuens gestur yang dikenali. Sistem ini dibuat agar dapat mendeteksi kejadian dan membangkitkan teks deskripsi. Model pengenalan gestur yang dibangun memiliki performa rata - rata akurasi 81.1% dan Skor Kappa 0.76. Hasil pembangkitan teks sistem memiliki akurasi kata untuk deskripsi subjek tunggal 97.6% dengan jarak edit minimum (dirata-ratakan) 0.914 edit, dan untuk deskripsi interaksi 96.4% dengan jarak edit minimum 6.286. Hasil tersebut diperoleh melalui suatu proses tuning dengan strategi pencarian linier. Sistem berkerja pada kecepatan 30.288 fps, yang dapat dikategorikan real-time. Kata kunci: pengenalan gestur, deskripsi teks, deteksi menyontek