ABSTRAK
Nama : Rocky Arkan Adnan Ahmad
Program Studi : Ilmu Komputer
Judul : Model Commonsense Reasoning Bahasa Indonesia de-
ngan Pendekatan Intermediate Task, Cross-lingual Transfer
Learning, dan Task Recasting
Model natural language processing (NLP) ditantang tidak hanya memiliki kemampuan
“mengingat” secara statistik, tapi juga dapat melakukan semantic reasoning mendekati
kemampuan manusia dalam memahami bahasa. Tugas ini disebut juga sebagai tugas
yang menguji penalaran (commonsense reasoning) untuk suatu model. Tugas com-
monsense reasoning pada bahasa Indonesia sudah ada, tetapi performa mesin pada
tugas tersebut masih terbilang rendah. Penelitian ini mencoba meningkatkan performa
mesin dalam tugas commonsense reasoning bahasa Indonesia. Digunakan tiga buah
metode, yaitu intermediate-task transfer learning, cross-lingual transfer learning, dan
task recasting. Ditemukan kalau intermediate-task transfer learning efektif dilakukan
untuk data commonsense reasoning bahasa Indonesia, dengan peningkatan performa di
berbagai tugas. Metode cross-lingual transfer learning juga ditemukan sangat efektif
dilakukan. Didapatkan performa yang melebihi baseline pada tugas IndoGrad hanya
dengan melatih model dalam data bahasa Inggris dan melakukan klasifikasi secara
zero-shot pada data bahasa Indonesia. Lalu didapatkan juga performa state-of-the-art
(SOTA) baru dalam IndoGrad yaitu 0.803, naik 0.116 dari performa tertinggi penelitian
sebelumnya. Performa tersebut dicapai menggunakan model yang dilakukan fine-tuning
pada data bahasa Indonesia setelah dilatih dengan data bahasa Inggris. Pada metode
task recasting, performa model masih rendah dan didapatkan performa chance pada data
uji. Dilakukan juga penjelasan terhadap model dalam menjawab tugas commonsense
reasoning bahasa Indonesia. Penjelasan dilakukan dengan visualisasi attention dan
probing task. Ditemukan model mendapatkan kenaikan performa dalam probing task
ketika performa pada tugas commonsense reasoning juga naik. Ditemukan juga model
dapat menjawab dengan benar dengan memberikan attention yang lebih besar ke pada
jawaban yang benar dan mengurangi attention pada jawaban yang salah.
|
|