ABSTRAK Nama : Rachmat Hidayat Program Studi : Magister Ilmu Komputer Judul : Pengawasan Otomatis Penerapan Protokol Kesehatan COVID-19 dengan Metode Deep Learning Pembimbing 1 : Prof. Aniati Murni Arymurthy Pembimbing 2 : Dr. Heru Susanto Wabah virus corona pada tahun 2019 (COVID-19) menjadi pandemik global diseluruh dunia termasuk di Indonesia. Perkembangan penyebaran COVID-19 yang sangat masif membuat pemerintah Indonesia melakukan langkah-langkah preventif. Salah satu langkah preventif pemerintah adalah dengan mewajibkan protokol kesehatan seperti menjaga jarak (social distancing) dan pengunaan alat pelindung diri (APD). Dalam perkembanganya, aplikasi computer vision dengan berbagai arsitektur deep learning telah dikembangkan untuk membantu mendeteksi social distancing dan penggunaan APD secara otomatis, salah satunya dengan you only look once (YOLO). Pada penelitian ini, penulis mengajukan modifikasi terhadap arsitektur YOLO untuk mendapatkan citra hasil deteksi yang akurat dan cepat. Arsitektur modifikasi YOLO yang dikembangkan dilatih dengan dataset gabungan antara dataset Facemask Detection Kaggle dengan dataset APD COVID-19. Pengabungan dataset dilakukan untuk menambah dua kelas deteksi APD yaitu face shield dan hazard material. Berdasarkan hasil eksperimen, modifikasi YOLO menunjukkan hasil terbaik ketika mendeteksi social distancing dan penggunaan APD. Kata Kunci: alat pelindung diri, COVID-19, deep learning, detection object, Hourglass, yolo