ABSTRAK
Nama : Matthew Tumbur Parluhutan, Muhammad Irfan Junaidi,
Muhammad Kenta Bisma Dewa Brata
Program Studi : Ilmu Komputer
Judul : Ekstraksi Key Moments Otomatis pada Video Perkuliahan di
Fasilkom UI Menggunakan Optical Character Recognition
dan Topic Modelling
Pembimbing : Dr. Eng. Laksmita Rahadianti, S.Kom, M.Sc.
Meganingrum Arista Jiwanggi, S.Kom, M.Kom.,
M.Comp.Sc.
Pandemi COVID-19 mengubah pola kehidupan manusia, termasuk sistem perkuliahan
yang berubah ke metode daring. Video perkuliahan dengan salindia menjadi salah
satu pilihan sarana penyampaian materi kuliah secara daring. Penelitian ini bermaksud
menguji keabsahan rancangan sistem yang mampu melakukan segmentasi temporal
sesuai topik secara otomatis pada video perkuliahan. Sistem yang diajukan dibagi
menjadi tiga sub-sistem yang memanfaatkan teknologi keyframe extraction, optical
character recognition (OCR), dan topic modelling. Pertama, video perkuliahan akan
diubah menjadi kumpulan keyframe dengan memanfaatkan metode Slide Detector yang
dimodifikasi. Selanjutnya, akan dilakukan ekstraksi teks dari frame-frame tersebut menggunakan Tesseract OCR dengan preprocessing tambahan. Akhirnya, BERTopic dengan
beragam algoritma clustering dan LDA diuji kemampuannya dalam topic modelling yang
berguna untuk mengambil topik yang koheren dari teks tersebut. Penelitian pada tahap
keyframe extraction menunjukkan bahwa terdapat peningkatan recall sebesar 0,235-025
dari 0 dan precision sebesar 0,619-0,75 dari 0 pada beberapa video pada Slide Detector
termodifikasi. Sebaliknya, penelitian pada tahap OCR menunjukkan bahwa tambahan
preprocessing belum bisa membantu meningkatkan performa Tesseract OCR. Pada tahap
terakhir, ditemukan bahwa BERTopic lebih unggul daripada LDA dalam menarik topik
yang koheren untuk use case penelitian ini. Agglomerative dan KMeans clustering
ditemukan lebih optimal untuk kasus video perkuliahan jika dibandingkan dengan
metode density-based. Augmentasi data dengan takaran yang sesuai diperlukan untuk
mendapatkan hasil sedemikian rupa pada tahap ini. Secara umum, sistem dengan tiga
bagian yang diusulkan pada penelitian ini sudah mampu melakukan segmentasi video
perkuliahan sesuai tujuan, namun, video perkuliahan bersalindia merupakan dataset yang
sangat heterogen dan merancang sebuah sistem yang mampu memanfaatkan dataset
tersebut adalah tantangan tersendiri.
Kata kunci:
video perkuliahan, keyframe extraction, optical character recognition, topic modelling
|
|