Pada masa sekarang ini, anotasi citra menjadi proses yang penting dan perlu untuk dikembangkan seiring dengan tingginya penerapan sistem perolehan citra yang ramah pengguna atau lebih dikenal sebagai user friendly system. Oleh karena itu, pengembangan proses anotasi lebih lanjut diharapkan tidak hanya mendeskripsikan sebuah citra sebagai sekumpulan obyek penyusun citra yang memiliki makna secara semantik, tetapi juga memberikan informasi spasial dari obyek-obyek tersebut. Pada penelitian ini, pendekatan tersebut disebut sebagai anotasi per piksel. Pada umumnya anotasi per piksel dikembangkan dengan memanfaatkan hasil dari scene classification menggunakan format klasifikasi mendatar/flat terhadap sub blok citra. Sayangnya format Flat tersebut memiliki keterbatasan, yakni proses klasifikasi menjadi kompleks apabila dilakukan untuk mengidentifikasi obyek-obyek spesifik. Dimana kondisi tersebut mengakibatkan penurunan kinerja pengklasifikasi. Salah satu alternatif yang dapat digunakan untuk mengatasi permasalahan tersebut adalah dengan menggunakan format klasifikasi bertingkat. Oleh karena itu, penelitian ini bertujuan untuk mengusulkan sebuah proses anotasi baru berdasarkan klasifikasi tutupan lahan bertingkat terhadap sekumpulan visual document yang dibangun menggunakan 3 jenis layout yang berbeda, yaitu fixed grid layout, spatial pyramid layout, dan overlapping layout. Sesuai dengan domain knowledge handal yang lazim digunakan dalam menginterpretasikan citra penginderaan jauh, yakni Land Cover Classification System (LCCS) yang dikembangkan oleh FAO, maka sistem klasifikasi yang dikembangkan tersebut menggunakan LCCS sebagai acuan serta pendekatan top-down hierarchical vii Universitas Indonesia classification. Klasifikasi bertingkat tersebut diterapkan pada model klasifikasi berbasis Latent Dirichlet Allocation (LDA). Selanjutnya model tersebut disebut sebagai Top-Down Hieararchical Latent Dirihlet Allocation (THLDA). Modifikasi-modifikasi yang diterapkan pada model klasifikasi berbasis LDA tersebut meliputi penggunaan integrated visual vocabulary dan Gaussian mixture clustering sebagai pendekatan dan teknik kuantisasi pada proses pembentukan kosakata visual, penggunaan Kullback-Leibler Divergence sebagai ukuran kemiripan distribusi antara nilai estimator dan data uji. Selain itu, fitur diskriminatif untuk masing-masing pengklasifikasi dasar dari model THLDA adalah color moments CIELab. Hasil ujicoba menunjukkan bahwa model THLDA memberikan kinerja yang lebih baik dibandingkan dengan model Flat LDA. Perbandingan nilai overall accuracy antara model THLDA dengan Flat LDA adalah 93.6% vs 91.8% untuk level 2 dan 91.4% vs 86.9% untuk level 3. Sedangkan nilai akurasi tertinggi dari proses anotasi per piksel diperoleh oleh overlapping layout sebagai layout dari proses pembentukan visual document. Adapun nilai akurasi untuk masing-masing levelnya adalah sebagai berikut 87.9% untuk level 1, 82.9% untuk level 2, dan 69.1% untuk level 3