ABSTRAK Nama : Darmatasia Program Studi : Magister Ilmu Komputer Judul : Pengenalan Tulisan Tangan pada Dokumen Berformat Menggunakan Convolutional Neural Network dan Support Vector Machines (CNN-SVM) Pengenalan tulisan tangan pada dokumen merupakan hal yang penting untuk memudahkan dalam pembacaan data secara otomatis yang terdapat pada sebuah dokumen. Secara umum proses pengenalan tulisan tangan terbagi menjadi tiga yaitu, segmentasi, ekstraksi fitur dan klasifikasi. Pada penelitian ini difokuskan terhadap proses ekstraksi fitur dan klasifikasi. Beberapa tantangan dalam proses pengenalan tulisan tangan di antaranya adalah karakter tulisan setiap orang yang berbeda-beda, beberapa karakter angka dan huruf yang mirip, karakter yang terputus dan lain-lain. Pada penelitian ini diusulkan metode Convolutional Neural Network (CNN) untuk ekstraksi fitur dan Support Vector Machines untuk klasifikasi karakter tulisan tangan. CNN mampu mengekstrak fitur dengan sangat representatif. Layer terakhir dari arsitektur CNN biasanya menggunakan Neural Network (NN) untuk klasifikasi. Secara prinsip, SVM memberikan generalisasi error yang lebih kecil dibandingkan NN karena SVM bekerja dengan prinsip Structural Risk Minimization (SRM) sedangkan NN bekerja dengan prinsip Empirical Risk Minimization (ERM). Kemampuan CNN dalam mengekstraksi fitur dimanfaatkan untuk mengekstrak fitur dari citra karakter kemudian dikombinasikan dengan kemampuan SVM yang bekerja dengan prinsip SRM untuk klasifikasi. Dalam penelitian ini dibangun 4 model dengan menggunakan data pelatihan dan pengujian yang berbeda pada masing-masing model. Model 1 menggunakan karakter angka, model 2 menggunakan karakter huruf kapital, model 3 menggunakan karakter huruf kecil, dan model 4 menggunakan karakter angka dan huruf kapital. SVM yang digunakan merupakan SVM linear dengan L2-regularisasi yang menggunakan loss function L1. Berdasarkan hasil eksperimen dengan menggunakan data NIST SD 19 2nd edition baik untuk pelatihan maupun pengujian, metode yang diusulkan mampu memperoleh tingkat akurasi sebesar 98.85% pada model 1, 93.05% pada model 2, 86.21% pada model 3, dan 91.37% pada model 4. Sedangkan CNN memperoleh akurasi sebesar 98.30% pada model 1, 92.33% pada model 2, 83.54% pada model 3, dan 88.32% pada model 4. Model yang telah dibangun digunakan untuk pembangunan sistem pengenalan tulisan tangan pada dokumen berformat dimana pre-processing, segmentasi dan pengenalan karakter dilakukan dalam satu sistem. Sistem tersebut diuji dengan menggunakan data formulir yang telah didistribusikan menggunakan spesifikasi hardware yaitu Processor Intel(R) Core(Tm) i3-4000M CPU @2.40 GHz, RAM 4.00 GB, Harddisk 500GB, dan software Matlab R2014b dengan akurasi sebesar 83,37%. Kata kunci: Pengenalan tulisan tangan, dokumen berformat, CNN, SVM