ABSTRAK
Nama : Muhammad Ravi Shulthan Habibi
Program Studi : Ilmu Komputer
Judul : Sistem Tanya Jawab Berbahasa Indonesia dengan Meman-
faatkan Natural Language Inference
Pembimbing : Rahmad Mahendra, S.Kom., M.Sc.
Alham Fikri Aji, S.Kom., M.Sc., Ph.D.
Sistem tanya jawab merupakan salah satu tugas dalam domain natural language pro-
cessing (NLP) yang sederhananya bertugas untuk menjawab pertanyaan sesuai konteks
yang pengguna berikan ke sistem tanya jawab tersebut. Sistem tanya jawab berbahasa
Indonesia sebenarnya sudah ada, namun masih memiliki performa yang terbilang kurang
baik. Penelitian ini bereksperimen untuk mencoba meningkatkan performa dari sistem
tanya jawab berbahasa Indonesia dengan memanfaatkan natural language inference
(NLI). Eksperimen untuk meningkatkan sistem tanya jawab berbahasa Indonesia, penulis
menggunakan dua metode, yaitu: intermediate-task transfer learning dan task recasting
sebagai verifikator. Dengan metode intermediate-task transfer learning, performa
sistem tanya jawab berbahasa Indonesia meningkat, hingga skor F1-nya naik sekitar
5.69 dibandingkan tanpa menggunakan pemanfaatan NLI sama sekali, dan berhasil
mendapatkan skor F1 tertinggi sebesar 85.14, namun, peningkatan performa dengan
metode intermediate-task transfer learning cenderung tidak signifikan, kecuali pada
beberapa kasus khusus model tertentu. Sedangkan dengan metode task recasting sebagai
verifikator dengan parameter tipe filtering dan tipe perubahan format kalimat, performa
sistem tanya jawab berbahasa Indonesia cenderung menurun, penurunan performa ini
bervariasi signifikansinya. Pada penelitian ini juga dilakukan analisis karakteristik
pasangan konteks-pertanyaan-jawaban seperti apa yang bisa dijawab dengan lebih baik
oleh sistem tanya jawab dengan memanfaatkan NLI, dan didapatkan kesimpulan bahwa:
performa sistem tanya jawab meningkat dibandingkan hasil baseline-nya pada berbagai
karakteristik, antara lain: pada tipe pertanyaan apa, dimana, kapan, siapa, bagaimana,
dan lainnya; kemudian pada panjang konteks ≤ 100 dan 101 ≤ 150; lalu pada panjang
pertanyaan ≤ 5 dan 6 ≤ 10; kemudian pada panjang jawaban golden truth ≤ 5 dan
6 ≤ 10; lalu pada keseluruhan answer type selain law dan time; terakhir pada reasoning
type WM, SSR, dan MSR.
Kata kunci:
sistem tanya jawab, natural language inference, bahasa Indonesia, intermediate-task
transfer learning, task recasting, peningkatan performa, karakteristik pasangan konteks-
pertanyaan-jawaban
|
|