Call Number | SK-2458 (Softcopy SK-1940 Source Code-877 |
Collection Type | Skripsi |
Title | Pembangunan Dataset Bahasa IsyaratIndonesia (BISINDO) dan Sistem Isyarat Bahasa Indonesia (SIBI) dari Siaran Berita Indonesia Hari ini TVRI |
Author | Rahmat Bryan Naufal/Muhammad Rifqi Adli Gumay/Ruben Tanoey; |
Publisher | Depok: Fasilkom UI, 2025 |
Subject | Automatic Speech Recognition |
Location | FASILKOM-UI; |
Nomor Panggil | ID Koleksi | Status |
---|---|---|
SK-2458 (Softcopy SK-1940 Source Code-877 | TERSEDIA |
Nama Penulis 1 / Program Studi : Rahmat Bryan Naufal / Ilmu Komputer Nama Penulis 2 / Program Studi : Muhammad Rifqi Adli G. / Ilmu Komputer Nama Penulis 3 / Program Studi : Ruben Tanoey / Ilmu Komputer Judul : Pembangunan Dataset Bahasa Isyarat Indonesia (Bisindo) dan Sistem Isyarat Bahasa Indonesia (SIBI) dari Siaran Berita Indonesia Hari Ini TVRI Pembimbing : Dr. Kurniawati Azizah, S.T., M.Phil. Arawinda Dinakaramani, S.Kom., M.Hum Relasi merupakan hal yang sangat penting bagi semua orang, termasuk komunitas Tuli yang sering kali terhambat oleh kesenjangan komunikasi antara pengguna bahasa isyarat dan masyarakat umum yang menggunakan bahasa Indonesia. Penelitian ini bertujuan untuk mengembangkan sebuah sistem terintegrasi yang menciptakan dataset otomatis Bisindo dan SIBI dari siaran berita. Sistem otomatisasi ini menerapkan OCR pada naskah menggunakan Google Cloud Vision API dan Pytesseract untuk mengekstraksi teks dari video siaran berita TVRI. Untuk transkripsi audio, Automatic Speech Recognition (ASR) digunakan untuk mengubah percakapan dalam siaran berita menjadi teks secara akurat. Selain itu, teknik pemrosesan citra menggunakan YOLOv8 sebagai detektor JBI, peningkatan kualitas dengan shader Anime4K dan deep learning Topaz Proteus, serta anotasi keypoints estimation dengan MediaPipe Google diterapkan pada video untuk memperoleh data visual gestur dan anotasi JBI yang berkualitas. Ketiga komponen ini kemudian disusun dalam suatu dataset komprehensif bahasa isyarat Indonesia. Analisis OCR menunjukkan bahwa Google Cloud Vision API unggul dengan tingkat kesalahan CER 5,86% dan WER 20,28%, sedangkan Pytesseract memiliki CER 6,66% dan WER 21,75% untuk dataset SIBI. Pada dataset Bisindo, akurasi Google Cloud Vision API adalah 7,44% (CER) dan 20,65% (WER), sementara Pytesseract mendapatkan 9,05% (CER) dan 23,07% (WER). Pada sistem pengenalan suara otomatis (ASR), model Whisper/turbo memiliki WER 7,52% dan CER 2,95% untuk dataset Bisindo, serta WER 8,47% dan CER 3,97% untuk dataset SIBI, dengan peningkatan lebih lanjut melalui penyelarasan hasil OCR. Dalam pengolahan video, teknik deinterlasi QTGMC terbukti unggul, sementara kombinasi Proteus + Anime4K memberikan hasil peningkatan resolusi terbaik dengan GVI tertinggi mencapai 72,20% pada Bisindo dan 78,08% pada SIBI, disertai skor BRISQUE di angka 43–45 yang menunjukkan kualitas video holistik. Penyelarasan antara OCR dan transkrip audio menurunkan tingkat kesalahan WER menjadi 7,50% (Bisindo) dan 8,42% (SIBI), serta 53,9% segmen Bisindo dan 23,7% segmen SIBI memiliki gerakan yang sesuai dengan transkripsi. Penelitian ini berkontribusi dalam pengembangan sistem penerjemahan bahasa isyarat yang lebih akurat dan efisien serta integrasi teknologi untuk komunikasi inklusif