Nama Penulis 1 / Program Studi : Muhammad Fauzul Akbar / Ilmu Komputer Nama Penulis 2 / Program Studi : Sulthan Afif Althaf / Ilmu Komputer Judul : Layanan Web Machine Learning dan Manajemen Beban untuk Automatic Indonesian News Generation System Pembimbing : Adila Alfa Krisnadhi, Ph.D. Ari Wibisono, M.Kom. Large Language Model (LLM) generatif merupakan jenis model machine learning yang dapat diaplikasikan dalam industri jurnalisme, khususnya dalam proses pembuatan dan validasi berita. Namun, LLM memerlukan sumber daya yang besar untuk operasionalnya serta membutuhkan waktu proses inferensi yang relatif lama. Penelitian ini bertujuan untuk mengembangkan layanan web machine learning yang memanfaatkan LLM generatif untuk proses pembuatan dan validasi berita. Tujuan lainnya adalah menciptakan sistem dengan mekanisme manajemen beban yang efisien untuk meminimalkan waktu inferensi. Pengembangan melibatkan beberapa tahap, yakni analisis kebutuhan stakeholder, perancangan desain dan arsitektur, implementasi, serta evaluasi. Dalam implementasi layanan web machine learning, pengembangan ini berfokus pada manajemen GPU untuk meningkatkan kecepatan proses inferensi LLM. Selain itu, dilakukan implementasi design pattern untuk meningkatkan skalabilitas dalam penambahan model machine learning. Untuk manajemen beban, dikembangkan dua mekanisme, yaitu load balancer dan scheduler. Implementasi load balancer memanfaatkan NGINX dengan metode round-robin. Sedangkan untuk scheduler, digunakan RabbitMQ sebagai antrean, dengan publisher menerima permintaan dan subscriber mendistribusikan permintaan ke layanan yang tersedia. Berdasarkan API Test, layanan ini berhasil melewati uji fungsionalitas dengan waktu respons API sekitar 1-2 menit per permintaan. Evaluasi performa pada kedua mekanisme manajemen beban menunjukkan tingkat keberhasilan 100%, dengan waktu respon rata-rata meningkat seiring dengan peningkatan jumlah request per detik. Pengelolaan beban dengan load balancer menghasilkan waktu respon yang lebih cepat, sementara pengelolaan beban dengan scheduler menghasilkan mekanisme yang lebih efektif pada proses koneksi asinkron. Kata kunci: Load balancer, scheduler, LLM, layanan web machine learning