Penelitian ini bertujuan untuk meningkatkan kinerja sistem tanya jawab yang telah dibangun oleh Philip Arthur pada tahun 2012. Modifikasi sistem dilakukan berdasarkan dataset QA4MRE at CLEF 2011, dengan menggunakan 2 metode perluasan query, yaitu Pseudo Relevance Feedback (PRF) dan WordNet. Dua fitur tambahan juga diajukan untuk meningkatkan skor c@1 sistem, yaitu Average Distance Weight dan Cosine Similarity. Skor optimal ternyata diperoleh jika sistem hanya menggunakan teknik PRF beserta kedua fitur tambahan tersebut. Dibandingkan sistem awal, sistem hasil modifikasi ini berhasil meningkatkan skor sebesar 7.26% pada dataset 2011, dan sebesar 1.22% pada dataset 2012. Hal ini membuktikan bahwa kinerja sistem tanya jawab untuk kedua dataset tersebut telah berhasil ditingkatkan melalui modifikasi yang dilakukan.