Nama : Fadhlan Muhammad Program Studi : Ilmu Komputer Judul : Serangan Membership Inference Attack terhadap Model Bahasa untuk Klasifikasi Teks Dengan Model Berbasis Transformer Pembimbing : Amril Syalim, S.Kom., M.Eng., Ph.D. Adila Alfa Krisnadhi, S.Kom., M.Sc., Ph.D. Seiring dengan semakin meluasnya penggunaan machine learning di berbagai industri, ancaman Membership Inference Attack (MIA) menimbulkan risiko keamanan yang signifikan terhadap model machine learning dengan memungkinkan penyerang menyimpulkan apakah data tertentu merupakan bagian dari data pelatihan model. Disisi lain, MIA memiliki berbagai manfaat lain jika diterapkan dengan tujuan yang baik. Banyak penelitian dilakukan untuk mengkaji penerapan MIA. Penelitian ini mengevaluasi efektivitas MIA dalam berbagai skenario, dengan fokus pada model pretrained untuk tugas klasifikasi teks. Eksperimen dilakukan dengan mengeksplorasi tiga faktor utama: arsitektur model, jumlah model bayangan, dan sampel data. Parameter yang kami gunakan merupakan variabel mendasar yang dapat mempengaruhi kinerja MIA untuk seberapa akurat MIA dilihat dalam perspektif sebagai fungsi forensik atau auditor. Hasil eksperimen dari transformer model mendapatkan peningkatan antara 1 sampai dengan 10% dibandingkan dengan singular model baseline bergantung dari sampel yang terambil dan model yang digunakan. Perubahan parameter seperti jumlah sampel data dan model bayangan tidak merubah banyak, peningkatan dari penambahan shadow model baru terlihat setelah lebih dari tiga model bayangan dan peningkatan jumlah sampel cenderung menunjukan penurunan performa. Hasil eksperimen menunjukan bert memiliki performa paling akurat. Jika dilihat hasil yang didapatkan hasil yang didapatkan masih belum jauh lebih baik dari lemparan koin (50%), akan tetapi MIA akan memberikan hasil dengan cakupan nilai yang cenderung stabil bergantung data yang digunakan dibandingkan kondisi nyata lemparan koin memberikan hasil yang tidak menentu.