Nama : Ied Mubaraque Sultan Salahuddine El Ayyubie Program Studi : Sarjana Sistem Informasi Judul : Identifikasi Ujaran Kebencian dan Ujaran Kasar pada Data Teks X Berbahasa Campuran (Mixed Code) Bahasa Indonesia dan Bahasa Jawa dengan Large Language Model Pembimbing : Prof. Dr. Indra Budi, S.Kom., M.Kom. Muhammad Okky Ibrahim, S.Mat., M.Kom. Kata kunci: Large Language Model, Hate Speech, Abusive Language, Prompt Engineering, Natural Language Processing, Low-resource Languages, Mixed-Code vi Universitas Indonesia Penyebaran ujaran kebencian dan ujaran kasar di media sosial seperti X (sebelumnya Twitter) menjadi tantangan yang serius, khususnya dalam konteks bahasa campuran (mixed-code) seperti Bahasa Indonesia dan Bahasa Jawa. Tantangan ini tidak hanya terletak pada keragaman linguistik dan struktur informal yang digunakan oleh pengguna, tetapi juga pada sifat ujaran yang seringkali implisit, kontekstual, dan ambigu. Pendekatan berbasis fine-tuning terhadap model Transformer seperti BERT telah banyak digunakan dalam penelitian sebelumnya dan terbukti efektif, namun memerlukan data berlabel dalam jumlah besar serta sumber daya komputasi yang tinggi, sehingga kurang ideal untuk skenario dengan keterbatasan data. Penelitian ini bertujuan untuk mengevaluasi performa Large Language Model (LLM) sebagai alternatif yang lebih efisien melalui pendekatan zero-shot dan few-shot prompting. Eksperimen dilakukan menggunakan dataset dari Mahardhika (2021) dan menguji lima model LLM: Mistral-7B, Llama- 3.1-8B, Qwen2.5-7B, Deepseek-7B, dan SahabatAI. Dua skenario utama dievaluasi: klasifikasi powerset dan klasifikasi biner. Performa model diukur menggunakan metrik Macro F1-Score untuk memastikan evaluasi yang seimbang pada kelas yang tidak merata dan hasilnya dibandingkan dengan model baseline IndoBERT. Hasil penelitian menunjukkan bahwa model Qwen2.5-7B-Instruct memberikan performa terbaik di antara LLM yang diuji, dengan Macro F1-score tertinggi sebesar 0,5161 pada skenario powerset few-shot. Meskipun demikian, performa ini masih berada di bawah model baseline IndoBERT yang di fine tuning (0,7886). Pendekatan few-shot secara umum meningkatkan performa dibandingkan zero-shot, namun juga menunjukkan potensi bias jika contoh yang diberikan tidak representatif. Kesimpulannya, LLM menunjukkan potensi sebagai solusi yang fleksibel dan efisien untuk moderasi konten dalam konteks bahasa low-resource tanpa memerlukan fine-tuning. Meskipun akurasinya belum melampaui model yang dilatih secara khusus, pendekatan berbasis prompt menawarkan alternatif yang menjanjikan ketika data dan sumber daya komputasi terbatas.