Pertumbuhan industri e-commerce di Indonesia telah meningkat secara signifikan dalam beberapa tahun terakhir. Nilai transaksi di sektor e-commerce di Indonesia diproyeksikan akan tumbuh sekitar 115%. Respons cepat terhadap keluhan pelanggan di platform digital menjadi krusial dalam mempertahankan kepercayaan dan loyalitas pelanggan di tengah persaingan yang ketat. Salah satu strategi yang digunakan oleh perusahaan adalah pendekatan multi-channel, di mana media sosial berperan penting. Namun, penggunaan media sosial sebagai saluran komplain menghadapi tantangan dalam membedakan keluhan yang sebenarnya dari noise yang tidak relevan. Saat ini, PT XYZ mengalami kesulitan dalam mengidentifikasi secara akurat interaksi mana yang memerlukan penanganan khusus dan mana yang tidak. Sistem yang ada saat ini mengharuskan tim khusus melakukan penyaringan secara manual. Metode ini menyebabkan tim tidak dapat mengimbangi saat terjadi peningkatan volume interaksi yang pesat. Akibatnya, waktu respon menjadi lebih lambat hingga 20%. Penelitian ini bertujuan untuk mengevaluasi performa model berbasis klasifikasi yang dapat dimanfaatkan serta menyusun rekomendasi dalam upaya meningkatkan skalabilitas untuk mengatasi tantangan tersebut. Desain penelitian ini menggunakan metode experimental research, di mana data yang diolah berasal dari interaksi pelanggan di media sosial dari rentang waktu tertentu. Dalam pengembangan model klasifikasi, digunakan beberapa metode meliputi Random Forest (RF), Support Vector Machine (SVM), Neural Network (NN), dan XGBoost menggunakan TF-IDF sebagai metode ekstraksi fitur, serta menggunakan BERT untuk ekstraksi fitur hingga klasifikasi. Pemodelan interaksi pelanggan dilakukan sebanyak lima kali dengan pengaturan k-fold cross-validation untuk menghindari bias. Hasil penelitian ini menunjukan bahwa dari persebaran data interaksi yang terdiri terdapat 6.220 keluhan dan 4.572 bukan keluhan. Akun sosial media perusahaan yang dikhususkan sebagai saluran komplain terbukti menjadi saluran yang efektif untuk menangani keluhan pelanggan, sementara akun yang bersifat umum lebih sering digunakan untuk interaksi yang lebih luas yang tidak terkait dengan keluhan. Tipe keluhan juga teridentifikasi bahwa keluhan yang berkaitan dengan logistik mendominasi, mencakup isu-isu seperti keterlambatan pengiriman, serta pelayanan dari kurir atau ekspedisi. Model klasifikasi terbaik yang berhasil dikembangkan menggunakan BERT dengan indobert-p1 mencapai F1-score sebesar 98,3%. Implementasi model ini berpotensi mengurangi beban pekerjaan hingga 97,58% dan menghasilkan ROI sebesar 23,52 kali. Dengan pengurangan beban pekerjaan ini, perusahaan dapat mengurangi jumlah headcount yang dibutuhkan untuk proses klasifikasi manual menjadi hanya 1 orang.