ABSTRAK
Nama Penulis 1 / Program Studi : Daniel F. P. Simangunsong / Sistem Informasi
Nama Penulis 2 / Program Studi : Thariq Razan / Sistem Informasi
Judul : Pengembangan Sistem Tanya-Jawab yang Mengintegrasikan Generative Pre-trained Transformer
(GPT) dengan Peraturan Perundang-undangan
Indonesia Menggunakan Framework LlamaIndex dan LangChain
Pembimbing : Fariz Darari, S.Kom., M.Sc., Ph.D.
Tidak dapat dipungkiri bahwa teknologi semakin berkembang dan inovasi baru terus
bermunculan. ChatGPT merupakan salah satunya; dan menjadi buah bibir di awal tahun
2023. Teknologi ini dapat melayani aktivitas tanya-jawab yang membuat pengguna
dapat merasa telah melakukan percakapan dengan manusia lainnya, alih-alih dengan
mesin. Kemampuan ChatGPT bersumber dari model GPT yang digunakannya. Selaku
large language model, GPT dapat memproses banyak teks untuk memproduksi teks
lainnya. Walaupun secara umum dapat memberikan jawaban yang memadai, saat
berurusan dengan domain yang spesifik, misalnya legal, ChatGPT memberikan jawaban
yang kurang memuaskan. Penelitian ini dilakukan untuk mengatasi hal tersebut dengan
menyisipkan konteks atau kepingan informasi yang spesifik kepada model melalui suatu
prompt (in-context learning). Karena domain legal menjadi fokus penelitian ini, maka
teks yang akan diproses berasal dari dokumen peraturan perundang-undangan. Penelitian
ini diawali dengan preliminary research, sehingga diidentifikasi permasalahan yang
telah dijabarkan. Kemudian, dilanjutkan dengan perancangan serta pengembangan dua
sistem tanya-jawab yang menggunakan dua framework LlamaIndex dan LangChain.
Sebelum mengembangkan sistem, peneliti mempersiapkan terlebih dahulu data/teks yang
perlu diekstrak dari dokumen peraturan perundang-undangan. Pengembangan sistem
dilakukan secara iteratif dan evaluasi diadakan pada setiap iterasi. Evaluasi dilakukan
secara kualitatif dengan menggunakan human judgement serta secara kualitatif dengan
menggunakan metrik ROUGE dan SAS. Hasil akhir evaluasi menunjukkan bahwa kedua
sistem tersebut baik dalam menjawab pertanyaan terkait definisi dan substansi pada
domain legal. Selain itu, dilakukan juga perbandingan hasil evaluasi terhadap ChatGPT
dan ditemukan bahwa kedua sistem unggul. Penelitian ini telah menunjukkan bahwa
teknologi GPT dapat dimanfaatkan pada domain spesifik, yaitu legal, melalui kedua
sistem yang dibuat.
Kata kunci: ChatGPT, GPT, LlamaIndex, LangChain, Legal, Sistem Tanya-Jawab
|
|