Name : Emmanuella Anggi Siallagan Study Program : Master of Computer Science Title : A Novel Structure Evaluation Method for Indonesian Pantun Generation Supervisor : Dr. Ika Alfina, S.Kom., M.Kom. Pantun merupakan puisi tradisional integral Melayu yang terdiri dari empat baris dan dibagi menjadi dua bagian: sampiran dan isi yang membentuk pola rima ABAB. Kemajuan dalam model poetry generation juga dipengaruhi oleh terobosan dalam generative model. Namun, sebagai bagian dari teks kreatif, keberhasilan model membentuk puisi, khususnya puisi klasik, bergantung juga pada faktor-faktor di luar kualitas teks yang dihasilkan, terutama pada aturan penulisannya. Saat mengimplementasikan poetry generation untuk literatur klasik seperti pantun, evaluasi yang berbeda diperlukan untuk menilai karakteristik pantun yang dihasilkan secara tepat. Kami memperkenalkan metode evaluasi untuk menilai karakteristik pantun yang dihasilkan oleh model poetry generation. Pertama, dibentuk dataset yang terdiri dari 7,473 pantun dengan karakteristik pantun yang benar. Kedua, model pantun generation dibangun menggunakan empat metode sequence labeling yang berbeda. Kemudian, model akan membentuk 1.000 pantun dengan dua metode generation yang berbeda: secara bebas dan dengan input isi. Terakhir, kami mengevaluasi pantun yang dihasilkan berdasarkan struktur, rima, suku kata, dan hubungan semantik antara sampiran dan isi menggunakan text classification. Implementasi evaluasi dilakukan pada model state-of-the-art text generation: generative pre-trained transformer 2 (GPT-2). Tesis ini memberikan detail mengenai performa model GPT-2 dalam menghasilkan pantun dan mengidentifikasi area-area yang perlu ditingkatkan. Evaluasi kami menunjukkan model unggulan GPT-2 mampu menghasilkan pantun dengan struktur yang benar dengan tingkat akurasi dari ketepatan struktur melebihi 90%, namun model masih belum dapat memberikan karakteristik pantun yang sesuai dengan hanya mencakup tingkat akurasi 39,6% dalam rima, 34% suku kata, dan 57% ketepatan hubungan semantik.