Library Automation and Digital Archive
LONTAR
Fakultas Ilmu Komputer
Universitas Indonesia

Pencarian Sederhana

Find Similar Add to Favorite

Call Number T-1441 (softcopy T-1150) MAK PI-241 TR-CSUI-113
Collection Type Tesis
Title Optisign: Motion-aware end to endFramework Model for Blur Resistant Sign Language Recognition and Interpretation
Author Muhammad Yusuf Ridho;
Publisher Depok: Fasilkom UI, 2024
Subject
Location FASILKOM-UI;
Lokasi : Perpustakaan Fakultas Ilmu Komputer
Nomor Panggil ID Koleksi Status
T-1441 (softcopy T-1150) MAK PI-241 TR-CSUI-113 TERSEDIA
Tidak ada review pada koleksi ini: 56284
ABSTRAK

Nama : Muhammad Yusuf Ridho Program Studi : Magister Ilmu Komputer Judul : Optisign : Motion-aware , End-to-end Framework model For Blur-Resistant Sign Language Recognition And Interpretation Pembimbing : Bayu Distiawan Trisedya, S.Kom., M.Kom., Ph.D. Bahasa isyarat merupakan media komunikasi utama bagi penyandang tunarungu, yang memanfaatkan gerakan tangan, ekspresi wajah, dan postur tubuh. Dalam beberapa tahun terakhir, pengembangan sistem pengenalan bahasa isyarat berbasis video telah mengalami kemajuan yang signifikan. Namun, tantangan besar masih ada, terutama terkait dengan efek motion blur yang diakibatkan oleh gerakan tangan yang cepat dan kompleks. Motion blur ini mengaburkan detail penting, seperti bentuk tangan, posisi jari, dan orientasi tangan, yang sangat diperlukan untuk proses ekstraksi fitur secara akurat. Distorsi tersebut mengurangi kemampuan model dalam membedakan gerakan tangan yang serupa, sehingga berdampak pada menurunnya akurasi pengenalan bahasa isyarat. Untuk mengatasi tantangan tersebut, kami mengusulkan OptiSign, sebuah framework end-to-end yang dirancang khusus untuk menangani motion blur pada video bahasa isyarat. Framework ini terdiri atas dua komponen utama, yaitu Adaptive Blur Variance dan Hybrid Spatio-Temporal Flow Scoring. Adaptive Blur Variance dirancang untuk mendeteksi frame atau area yang mengalami blur dengan tingkat presisi yang tinggi. Sementara itu, Hybrid Spatio-Temporal Flow Scoring menawarkan pendekatan baru untuk meningkatkan analisis aliran optik melalui integrasi dinamis fitur spasial dan temporal. Metode ini memberikan bobot adaptif pada frame tetangga serta memperbaiki frame yang mengalami blur melalui proses dilasi dan erosi secara kontekstual, sehingga menghasilkan visual yang lebih tajam dan representatif dalam bentuk feature representation. Integrasi inovatif fitur spasial dan temporal ini memungkinkan deteksi dan perbaikan area yang blur menjadi lebih akurat yang secara signifikan meningkatkan akurasi klasifikasi bahasa isyarat. Berdasarkan hasil eksperimen dengan menggunakan dataset WLASL, OptiSign berhasil meningkatkan akurasi klasifikasi hingga 85,9% pada 100 kelas. Hasil ini menunjukkan perbedaan yang signifikan secara statistik (p-value = 0,0001 < 0,05) dibandingkan dengan metode Signbert+ sebuah framework pengenalan bahasa isyarat berbasis Transformer. Penelitian ini menghadirkan solusi yang lebih efektif dan andal, yang diharapkan dapat mendukung komunikasi yang lebih baik bagi komunitas tunarungu.