ABSTRAK
Nama : Aulia Astrico Pratama
Program Studi : Ilmu Komputer
Judul Skripsi : Ekstraksi Fitur Skeleton Manusia dari Citra Video
Telepon Pintar untuk Pengenalan Kata Dasar Isyarat SIBI
(Sistem Isyarat Bahasa Indonesia)
SIBI (Sistem Isyarat Bahasa Indonesia) merupakan bahasa isyarat resmi yang
digunakan oleh penyandang tunarungu di Indonesia untuk berkomunikasi seharihari
baik dengan sesama penyandang tunarungu maupun orang non-tunarungu.
Adanya aplikasi penerjemah gerakan Bahasa isyarat ke teks akan sangat membantu
proses komunikasi antara tunarungu dan non-tunarungu. Salah satu fitur yang
dibutuhkan untuk pengembangan model penerjemah SIBI adalah informasi
kerangka manusia (skeleton). Penelitian ini bertujuan untuk mengembangkan
metode ekstraksi fitur kerangka manusia dari citra video telepon pintar untuk
melatih model pembelajaran mesin LSTM (Long Short-Term Memory) pengenal
gerakan kata dasar SIBI. Metode ekstraksi fitur yang dikembangkan menggunakan
Haar Cascade untuk identifikasi titik bahu, algoritma Lucas-Kanade untuk melacak
titik tangan, dan menggunakan interpolasi antara titik bahu dan tangan untuk
mengidentifikasi titik siku. Dari titik-titik skeleton tersebut, dihitung sudut antara
bahu dan lengan atas, serta bahu dan lengan bawah. Hasil ekstraksi digunakan
sebagai input untuk model pembelajaran mesin LSTM yang telah dikembangkan
sebelumnya. Penelitian ini berhasil mengembangkan metode ekstraksi skeleton
yang saat dimasukkan ke model LSTM menghasilkan model dengan akurasi terbaik
hingga 84.64%. Model dengan akurasi terbaik tersebut adalah model LSTM 2 layer
dan dilatih dengan parameter jumlah hidden unit 512, jumlah batch 100, dan iterasi
training 1800 epoch.
Kata kunci:
pengolahan citra, skeletonisasi, alur optik, Lucas-Kanade, Haar Cascade,
pembelajaran mesin, Long-Short-Term Memory, pengenalan gerakan
|
|