| Call Number | SK-2598 (Softcopy SK-2080) |
| Collection Type | Skripsi |
| Title | Unveiling The Influence of Amplifying Language-Specific Neurons in Larga Language Models |
| Author | Inaya Rahmanisa; |
| Publisher | Depok: Fasilkom UI, 2025 |
| Subject | Large Language Model, |
| Location | FASILKOM-UI; |
| Nomor Panggil | ID Koleksi | Status |
|---|---|---|
| SK-2598 (Softcopy SK-2080) | TERSEDIA |
Nama : Inaya Rahmanisa Program Studi : Computer Science Judul : Pengaruh Amplifikasi Neuron Spesifik Bahasa pada Model Bahasa Besar Pembimbing : Alfan Farizki Wicaksono, S.T., M.Sc., Ph.D. Haryo Akbarianto Wibowo, S.Kom. Neuron spesifik bahasa, yaitu unit-unit dalam Model Bahasa Besar Multilingual (multilingual LLMs) yang memiliki korelasi kuat dengan bahasa tertentu, telah terbukti memengaruhi perilaku model ketika dilakukan ablasi. Namun, peran neuron-neuron ini dalam secara aktif mengarahkan perilaku bahasa masih belum banyak dieksplorasi, terutama dalam konteks amplifikasi. Penelitian ini menyelidiki efek dari mengamplifikasi neuron spesifik bahasa melalui intervensi saat inferensi pada 18 bahasa, termasuk bahasa dengan sumber daya rendah, menggunakan tiga model yang masing-masing dilatih terutama dalam bahasa yang berbeda. Kami terlebih dahulu mengevaluasi berbagai faktor amplifikasi menggunakan metrik yang kami usulkan, yaitu skor Language Steering Shift (LSS), kemudian mengukur dampaknya terhadap tugas penalaran lintas bahasa berbasis pengetahuan umum (cross-lingual commonsense reasoning) seperti XCOPA dan XWinograd. Hasil menunjukkan bahwa faktor amplifikasi paling optimal mampu menggeser preferensi model ke hampir semua bahasa yang diuji. Selain itu, evaluasi tugas menggunakan faktor tersebut menunjukkan pola perilaku yang jelas: intervensi lintas bahasa cenderung menurunkan performa, sedangkan amplifikasi pada bahasanya sendiri hanya menunjukkan perubahan marginal. Temuan ini menyoroti kontribusi neuron spesifik bahasa dalam tugas multibahasa. Namun, amplifikasi saja tidak cukup untuk meningkatkan akurasi pada bahasa sumber dan tidak menunjukkan adanya kemampuan transfer pembelajaran tugas ke bahasa lain.