| Call Number | T-1441 (softcopy T-1150) MAK PI-241 TR-CSUI-113 |
| Collection Type | Tesis |
| Title | Optisign: Motion-aware end to endFramework Model for Blur Resistant Sign Language Recognition and Interpretation |
| Author | Muhammad Yusuf Ridho; |
| Publisher | Depok: Fasilkom UI, 2024 |
| Subject | |
| Location | FASILKOM-UI; |
| Nomor Panggil | ID Koleksi | Status |
|---|---|---|
| T-1441 (softcopy T-1150) MAK PI-241 TR-CSUI-113 | TERSEDIA |
Nama : Muhammad Yusuf Ridho Program Studi : Magister Ilmu Komputer Judul : Optisign : Motion-aware , End-to-end Framework model For Blur-Resistant Sign Language Recognition And Interpretation Pembimbing : Bayu Distiawan Trisedya, S.Kom., M.Kom., Ph.D. Bahasa isyarat merupakan media komunikasi utama bagi penyandang tunarungu, yang memanfaatkan gerakan tangan, ekspresi wajah, dan postur tubuh. Dalam beberapa tahun terakhir, pengembangan sistem pengenalan bahasa isyarat berbasis video telah mengalami kemajuan yang signifikan. Namun, tantangan besar masih ada, terutama terkait dengan efek motion blur yang diakibatkan oleh gerakan tangan yang cepat dan kompleks. Motion blur ini mengaburkan detail penting, seperti bentuk tangan, posisi jari, dan orientasi tangan, yang sangat diperlukan untuk proses ekstraksi fitur secara akurat. Distorsi tersebut mengurangi kemampuan model dalam membedakan gerakan tangan yang serupa, sehingga berdampak pada menurunnya akurasi pengenalan bahasa isyarat. Untuk mengatasi tantangan tersebut, kami mengusulkan OptiSign, sebuah framework end-to-end yang dirancang khusus untuk menangani motion blur pada video bahasa isyarat. Framework ini terdiri atas dua komponen utama, yaitu Adaptive Blur Variance dan Hybrid Spatio-Temporal Flow Scoring. Adaptive Blur Variance dirancang untuk mendeteksi frame atau area yang mengalami blur dengan tingkat presisi yang tinggi. Sementara itu, Hybrid Spatio-Temporal Flow Scoring menawarkan pendekatan baru untuk meningkatkan analisis aliran optik melalui integrasi dinamis fitur spasial dan temporal. Metode ini memberikan bobot adaptif pada frame tetangga serta memperbaiki frame yang mengalami blur melalui proses dilasi dan erosi secara kontekstual, sehingga menghasilkan visual yang lebih tajam dan representatif dalam bentuk feature representation. Integrasi inovatif fitur spasial dan temporal ini memungkinkan deteksi dan perbaikan area yang blur menjadi lebih akurat yang secara signifikan meningkatkan akurasi klasifikasi bahasa isyarat. Berdasarkan hasil eksperimen dengan menggunakan dataset WLASL, OptiSign berhasil meningkatkan akurasi klasifikasi hingga 85,9% pada 100 kelas. Hasil ini menunjukkan perbedaan yang signifikan secara statistik (p-value = 0,0001 < 0,05) dibandingkan dengan metode Signbert+ sebuah framework pengenalan bahasa isyarat berbasis Transformer. Penelitian ini menghadirkan solusi yang lebih efektif dan andal, yang diharapkan dapat mendukung komunikasi yang lebih baik bagi komunitas tunarungu.