Penelitian lebih lanjut mengenai kinerja dan efektifitas sistem penilai esai otomatis terhadap jenis soal obyektif atau subyektif menggunakan korpus multi bahasa telah dilakukan. Kunci jawaban pada soal yang bersifat subyektif belum tentu mencakup semua kemungkinan jawaban benar, karenanya korelasi keseluruhan pada soal yang obyektif lebih tinggi, mencapai 0.5324. Dengan demikian, metode yang menganalisis makna semantik seperti Latent Semantic Analysis (LSA) dapat dipertimbangkan untuk jenis soal subyektif. Penggunaan korpus multi bahasa meningkatkan rata-rata korelasi keseluruhan antara nilai LSA dengan nilai manusia, dengan rata-rata korelasi keseluruhan 0.1894. Secara keseluruhan, untuk soal yang subyektif, lebih cocok menggunakan metode LSA dibanding VSM dengan korelasi keseluruhan LSA sebesar 0.2286.
|
|