Dewasa ini, telemarketing banyak digunakan oleh perusahaan sebagai sarana untuk meningkatkan penjualan. PT XYZ adalah perusahaan yang bergerak dalam bidang e-commerce classified ads customer-to-customer (C2C). PT XYZ melakukan telemarketing sejak bulan Juni 2016. Akan tetapi, rata-rata konversi telemarketing per minggu hanya 5,1 persen. Penelitian ini menggunakan metodologi CRISP-DM. Penelitian ini menggunakan Customer Lifetime Value (LTV) sebagai pembentuk fitur. Teknik Synthetic Minority Over Sampling (SMOTE) untuk permasalahan kelas tidak berimbang memberikan hasil yang lebih baik dari teknik undersampling dalam penelitian ini. Algoritma klasifikasi yang diuji adalah bayesian network, decision tree, random forest, support vector machince, neural network, bagging neural network, deep neural network, adaboost deep neural network, convolutional neural network, dan extreme gradient boosting tree. Evaluasi terhadap model yang dihasilkan menitikberatkan pada analisis cost-benefit, dan analisis gain chart. Analisis cost-benefit terhadap gain chart menunjukkan keuntungan terbaik ada pada desil 20 persen populasi. Analisis cost-benefit menunjukkan bahwa algoritma adaboost deep neural network dengan data SMOTE mendapatkan hasil terbaik. Akan tetapi model random forest SMOTE dapat mengklasifikasikan 73,13 persen pelanggan fitur premium dalam 20 persen populasi, serta memiliki konsistensi terbaik dalam gain chart. Total potensi keuntungan adalah 11,5 kali lipat dibandingkan tanpa menggunakan model. Dalam penelitian ini ditemukan juga bahwa nilai Fβ-score dapat digunakan untuk mengukur nilai cost-benefit dari model klasifikasi yang dihasilkan.