ABSTRAK
ABSTRAK
Nama : Ari Nugroho
Program Studi : Magister Ilmu Komputer
Judul : Batching Strategy Untuk Optimisasi Densely Connected
Convolutional Networks Pada GPU
Pembimbing : Prof. Heru Suhartanto, M.Sc., Ph.D.
Densely Connected Convolutional Networks (DenseNet) merupakan salah satu
model arsitektur Deep Learning yang menghubungkan setiap layer beserta featuremaps ke seluruh layer berikutnya, sehingga layer berikutnya menerima input
feature-maps dari seluruh layer sebelumnya. Karena padatnya arsitektur DenseNet
meyebabkan komputasi model memerlukan waktu lama dan pemakaian memory
GPU yang besar. Penelitian ini mengembangkan metode optimisasi DenseNet
menggunakan batching strategy yang bertujuan untuk mengatasi permasalahan
DenseNet dalam hal percepatan komputasi dan penghematan ruang memory GPU.
Batching strategy adalah metode yang digunakan dalam Stochastic Gradient
Descent (SGD) dimana metode tersebut menerapkan metode dinamik batching
dengan inisialisasi awal menggunakan ukuran batch kecil dan ditingkatkan
ukurannya secara adaptif selama training hingga sampai ukuran batch besar agar
terjadi peningkatan paralelisasi komputasi untuk mempercepat waktu pelatihan.
Metode batching strategy juga dilengkapi dengan manajemen memory GPU
menggunakan metode gradient accumulation. Dari hasil percobaan dan pengujian
terhadap metode tersebut dihasilkan peningkatan kecepatan waktu pelatihan hingga
1,7x pada dataset CIFAR-10 dan 1,5x pada dataset CIFAR-100 serta dapat
meningkatkan akurasi DenseNet. Manajemen memory yang digunakan dapat
menghemat memory GPU hingga 30% jika dibandingkan dengan native DenseNet.
Dataset yang digunakan menggunakan CIFAR-10 dan CIFAR-100 datasets.
Penerapan metode batching strategy tersebut terbukti dapat menghasilkan
percepatan dan penghematan ruang memory GPU.
Kata Kunci: Batching Strategy, Deep Learning, DenseNet, Gradient Accumulation,
Stochastic Gradient Descent
|