ABSTRAK
Nama : Inigo Ramli
Program Studi : Ilmu Komputer
Judul : Pengembangan Language Model KEPLER untuk Bahasa
Indonesia
Model bahasa dapat mempelajari struktur suatu bahasa manusia menggunakan korpus
yang tidak terstruktur. Namun, model bahasa secara umum belum dapat mempelajari
pengetahuan faktual yang direpresentasikan oleh knowledge graph. Terdapat beberapa
usaha untuk membuat model bahasa yang dapat mempelajari pengetahuan faktual
seperti KEPLER. Sayangnya, belum terdapat penelitian yang komprehensif mengenai
integrasi pengetahuan faktual terhadap pelatihan model bahasa Indonesia. Penelitian
ini mengajukan model bahasa Indonesia baru bernama IndoKEPLER yang melatih
model bahasa Indonesia yang sudah ada dengan korpus Wikipedia Bahasa Indonesia dan
memanfaatkan pengetahuan faktual dari Wikidata. Selain itu, penelitian ini juga mengajukan metode knowledge probing baru untuk menguji pemahaman faktual suatu model
bahasa Indonesia. Hasil eksperimen penelitian ini menunjukkan bahwa pelatihan model IndoKEPLER dapat meningkatkan pemahaman faktual suatu model bahasa Indonesia.
Kata kunci:
Model bahasa, knowledge embedding, knowledge graph, Pengolahan Bahasa Manusia,
bahasa Indonesia
|
|