ABSTRAK ABSTRAK
Nama : Yaniasih
Program Studi : Doktor Ilmu Komputer
Judul : Klasifikasi dan pengukuran kualitas sitasi menggunakan deep multitask learning dan multiple criteria decision making
Pembimbing : Dr. Indra Budi, S.Kom, M.Kom
Analisis sitasi merupakan kajian multi disiplin yang dapat diimplementasikan dalam
berbagai topik perolehan informasi. Analisis sitasi tradisional menghitung sama besar
setiap sitasi dalam daftar pustaka. Metode ini dinilai kurang valid karena hanya melihat
kuantitas bukan kualitas sitasi. Perkembangan kecerdasan buatan mendorong munculnya
metode analisis sitasi dalam seluruh teks dokumen publikasi berbasis pada kualitas sitasi.
Paradigma baru ini terus berkembang dan masih memiliki kekurangan dalam ketersediaan
data, pengembangan metode, dan pemanfaatanya. Penelitian ini bertujuan untuk 1)
mengembangkan metode deep multi-task learning (MTL) untuk klasifikasi tiga makna
sitasi secara bersamaan, dan 2) menentukan bobot skor atribut sitasi dan kerangka
pengukuran nilai kualitas sitasi dalam artikel. Penelitian menggunakan data sitasi jurnal
Indonesia dari lima bidang ilmu yaitu pangan, kesehatan, sosial, energi, dan komputer.
Set data terdiri dari 852 artikel dan 9.173 kalimat sitasi. Kalimat sitasi dianotasi manual
untuk memperoleh data tiga makna sitasi yaitu sentimen, sumber peran, dan fungsi. Pada
tahap ini disusun skema baru kategori fungsi sitasi. Model MTL dibangun untuk
klasifikasi tiga makna tersebut secara bersamaan. Ada tiga jenis model MTL yang
dikembangkan yaitu shared-trunk, cross-stitched, dan shared-private dengan
menggunakan tiga arsitektur yaitu convolutional neural network (CNN), long-short term
memory (LSTM), dan bi-directional long-short term memory (BiLSTM). Hasil klasifikasi
model MTL dibandingkan dengan model mesin pembelajar tradisional dan deep learning
tugas tunggal. Evaluasi kinerja menemukan model terbaik adalah MTL shared-private
menggunakan CNN. Model ini memperoleh skor F1 makro 0,81 untuk klasifikasi
sentimen, 0,87 untuk klasifikasi sumber peran, dan 0,90 untuk klasifikasi fungsi sitasi.
Pengukuran kualitas sitasi dilakukan menggunakan metode pembobotan multiple criteria
decision making (MCDM). MCDM yang digunakan adalah best worst method untuk
memperoleh bobot ground truth, dan dibandingkan dengan lima metode obyektif yaitu
Standar Deviasi, Koefisien Gini, Entropi, Criteria Importance Through Intercriteria
Correlation (CRITIC), dan Method Based on the Removal Effects of Criteria (MEREC).
Hasil perbandingan bobot dan korelasi ranking Spearman menunjukkan metode MEREC
menghasilkan bobot paling mendekati ground truth. Hasil ini memberikan bobot tertinggi
sitasi pada bab pembahasan, sitasi bersumber peran dari data, sitasi bersentimen positif,
dan sitasi berfungsi sebagai pembanding. Kerangka penilaian mengusulkan metrik Nilai
Kualitas Sitasi (NKS) yang merupakan metrik baru dengan menjumlahkan bobot atribut
lokasi, sentimen, sumber peran, dan fungsi sitasi per kemunculan (𝑁𝐾𝑆𝑓), dalam satu
dokumen (𝑁𝐾𝑆𝑑), dan total dalam keseluruhan data (𝑁𝐾𝑆𝑇).
Kata kunci: analisis sitasi, kualitas sitasi, multi-task learning, multiple criteria decision
making, metrik sitasi
|
|