ABSTRAK Nama : Fauzan Muhammad Program Studi : Magister Ilmu Komputer Judul : Transfer Learning Model VIT-B/16 dari Dataset ImageNet ke Dataset Describable Textures Dataset dan Flowers-102 Pembimbing : Prof. Dr. Ir. Aniati Murni Arymurthy, M.Sc., Dr. Dina Chahyati. S.Kom., M.Kom. Deep learning telah digunakan dalam berbagai masalah klasifikasi gambar dan deteksi objek. Dalam proses pelatihan pada Deep Learning membutuhkan data berlabel yang tidak sedikit dan akibatnya memakan waktu yang lama. Untuk mengatasi hal tersebut, metode transfer learning diperkenalkan dengan mengambil hasil pelatihan dari data sebelumnya dengan dataset yang umum, seperti ImageNet. VIT-B/16 merupakan model network yang menerapkan konsep transformer pada gambar. Model ini memiliki kinerja yang sangat baik saat dilatih menggunakan dataset ImageNet tetapi tidak terlalu baik saat dilatih menggunakan dataset Describable Textures Dataset dan Flowers-102. Penelitian ini bertujuan untuk melihat apakah metode transfer learning bisa digunakan sehingga model Vision Transformer mempunyai kinerja lebih baik saat dilatih menggunakan kedua dataset tersebut. Pada penelitian ini dilakukan transfer learning pada DTD dan dataset flowers-102 dengan menggunakan model yang sudah di pre trained dengan ImageNet- 21K. Dari Hasil penelitian didapat bahwa model ViT mengenali dengan cukup baik pada DTD dengan akurasi pada testing hanya mencapai76,67% dengan optimizer Adam dan dataset Flowers-102 dengan akurasi pada testing mencapai 98,91% dengan optimizer Adadelta. Model ViT ini selanjutnya dibandingkan dengan model CNN ResNet50 dan didapat bahwa hasil akurasi sedikit di bawah ResNet50. Kata Kunci: deep learning, transfer learning, Vision Transformer, ImageNet, Describable Textures Dataset, Flowers-102