ABSTRAK

Nama : Muhammad Ilham Ghozali Program Studi : Ilmu Komputer Judul : Pengambangan Tolok Ukur Evaluasi LLM dalam Tugas Klasifikasi, Ekstraksi, dan Ekstraksi Konten Definisi pada Teks Hukum Pembimbing : Adila Alfa Krisnadhi, S.Kom., M.Sc., Ph.D Penelitian ini mengevaluasi performa berbagai model Large Language Models (LLM) dalam tugas klasifikasi definisi, ekstraksi definisi, dan ekstraksi konten definisi dari teks hukum berbahasa Indonesia. Model yang digunakan meliputi LLaMa-2-7b, LLaMa-3- 8b-Instruct, Mistral-7B, Gemma-7b, Qwen1.5-7B, dan Zephyr-7b-beta, dengan teknik prompting zero-shot dan few-shot. Teknik prompting few-shot menunjukkan efektivitas dalam beberapa kasus, namun belum konsisten meningkatkan akurasi. Kata kunci: Large Language Models, klasifikasi definisi, ekstraksi definisi, teks hukum, zero-shot prompting, few-shot prompting