Library Automation and Digital Archive
LONTAR
Fakultas Ilmu Komputer
Universitas Indonesia

Pencarian Sederhana

Find Similar Add to Favorite

Call Number T-1424 (softcopy T-1133) MAK PI-224 TR-CSUI-96
Collection Type Tesis
Title Hybrid Convolutional Neural Network dan Vision Transformer untuk Facial Expression Recognition
Author Muhammad Hannan Hunafa;
Publisher Depok: Fasilkom UI, 2025
Subject Convolutional Neural Network
Location FASILKOM-UI;
Lokasi : Perpustakaan Fakultas Ilmu Komputer
Nomor Panggil ID Koleksi Status
T-1424 (softcopy T-1133) MAK PI-224 TR-CSUI-96 TERSEDIA
Tidak ada review pada koleksi ini: 56034
ABSTRAK

Nama : Muhammad Hannan Hunafa Program Studi : S2 Ilmu Komputer Judul : Hybrid Convolutional Neural Network dan Vision Transformer untuk Facial Expression Recognition Pembimbing : Prof. Dr. Eng. Wisnu Jatmiko S.T., M.Kom. Ekspresi wajah adalah bentuk dari komunikasi non verbal dalam interaksi sosial seharihari. Ekspresi wajah merupakan salah satu aspek utama dalam mengenali kondisi emosi seseorang. Facial expression recognition (FER) adalah task untuk mengenali ekspresi atau emosi dari wajah seseorang dengan menggunakan komputer. Dalam skenario dunia nyata dengan data yang memiliki kondisi pencahayaan, latar belakang, dan sudut pengambilan gambar yang berbeda-beda masih menjadi task yang menantang untuk komputer untuk melakukan pengenalan ekspresi. FLEPNet menjadi metode yang memiliki performa tertinggi saat ini. Convolutional Neural Networks (CNN) telah menjadi metode utama dalam tugas klasifikasi gambar, termasuk FER. Oleh karena itu, penelitian ini mencoba menggunakan pendekatan berbeda dengan Vision Transformer (ViT). ViT sendiri memiliki karakteristik yang berbeda dan berlawanan dibandingkan CNN. ViT lebih memperhatikan global features, sementara CNN lebih memperhatikan fitur-fitur yang lebih detail (local features). Karakteristik yang berbeda ini menarik apabila dikolaborasikan. Salah satu cara untuk mengkolaborasikan kedua metode dalah dengan ensemble model. Ensemble model adalah penggabungan 2 atau lebih model menjadi suatu model yang memiliki ketepatan klasifikasi lebih baik. Salah satu teknik ensemble adalah weighted soft voting yang menggunakan bobot model dalam melakukan voting. Penentuan weight dalam weighted soft voting menjadi masalah lain tentang bagaimana menentukan bobot yang dapat menghasilkan prediksi yang baik dan juga ilmiah. Peneliti mengusulkan algoritma weighted ensemble based on prisoner dilemma (WEPD). Prisoner Dilemma merupakan salah satu dari non-cooperative game dimana ada 2 tersangka yang tertangkap oleh polisi dan diinterogasi di dua ruangan berbeda. Kondisi 2 tersangka ini dianalogikan seperti 2 buah model dalam melakukan prediksi. Peneliti juga mengusulkan kolaborasi FLEPNet dan ViT pada satu model yang disebut sebagai metode hybrid. Dengan bersatunya CNN dan ViT pada satu model yang sama, maka kedua model dapat saling belajar. CNN akan lebih memperhatikan konteks lokal sementara ViT akan lebih memperhatikan konteks secara global dari keselurahan fitur. Berdasarkan eksperimen dan hasil pengujian pada dataset RAFDB dan FER2013 metode WEPD dapat mengungguli metode-metode pembanding. Metode WEPD mendapatkan accuracy sebesar 83,25% dan f1 score sebesar 75,02% pada pengujian dataset RAFDB dan accuracy sebesar 64,73% dan f1 score sebesar 66,20% pada pengujian dataset FER2013. Metode hybrid juga dapat mengungguli metode-metode pembanding. Pada dataset RAFDB, metode hybrid mendapatkan accuracy sebesar 83,60% dan f1 score 76,12%. Pada dataset FER2013, metode hybrid mendapatkan accuracy sebesar 67,62% dan f1 score sebesar 66,20%.