Sistem penilai esai otomatis sebagian besar dikembangkan dengan menggunakan metode Latent Semantic Analysis (LSA). LSA merepresentasikan jawaban esai ke dalam matriks kata-dokumen. Matriks kata-dokumen yang dibentuk pada LSA belum memperhatikan kemunculan urutan penulisannya dalam kalimat. Dua jawaban esai yang memiliki urutan penulisan kata yang berbeda seharusnya mempunyai nilai yang berbeda jika urutan tersebut dianggap penting. Namun saat ini, sistem penilai esai otomatis dengan metode LSA masih memberikan nilai yang sama untuk kedua jawaban tersebut. Penelitian ini bertujuan untuk mengeksplorasi efek dari urutan penulisan kata pada kinerja penilaian esai untuk Bahasa Indonesia. Penelitian juga bertujuan untuk memberikan sinonim yang lebih baik sebagai salah satu faktor dalam penilaian esai. Penelitian ini mengembangkan suatu fitur untuk memeriksa urutan kata pada jawaban esai siswa sebelum jawaban tersebut dijadikan masukan untuk metode LSA. Eksperimen dilakukan dengan menggunakan jawaban esai ujian pada kuliah Ecommerce (salah satu kuliah di Fakultas Ilmu Komputer UI). Hasil eksperimen menunjukkan bahwa penilai esai yang menggunakan urutan kata berhasil meningkatkan nilai rata-rata jika dibandingkan dengan penilai esai tanpa urutan kata. Tingkat error yang dihasilkan sistem penilai esai dengan memperhatikan urutan kata menurun jika dibandingkan dengan sistem penilai esai tanpa urutan kata. Secara umum dapat disimpulkan bahwa urutan kata dapat meningkatkan kinerja sistem penilai esai otomatis pada Bahasa Indonesia.