ABSTRAK
Nama : Aldi
Program Studi : Sarjana Ilmu Komputer
Judul : Penggunaan DeblurGAN-v2 untuk Meningkatkan Ketajaman Citra Hasil Rekaman Kamera Telepon Pintar pada
Mesin Translasi Gerakan Isyarat SIBI ke Teks
Pembimbing : Dr. Ir. Erdefi Rakun, M.Sc.
Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks
yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan
isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin
translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan
prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2
untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi
gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh
hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun
(2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame
pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas
hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam
sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan
TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti
menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja
mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER
dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan
ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah
menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas)
dan 0.8436 detik per frame (dengan ambang batas).
Kata kunci:
SIBI, Blurry Image Enhancement, DeblurGAN-v2, Sign Language Recognition
|
|