Nama : Setasena Randata Ramadanie, Mochamad Thariq Zahir A., Yusuf Zhafir Shadiq Program Studi : Sistem Informasi Pembimbing : Dr. Muhammad Rifki Shihab, B.B.A., M.Sc. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi aplikasi AI chatbot dalam proses pencarian pengetahuan atau knowledge retrieval pada suatu organisasi. Metodologi pengembangan aplikasi mengikuti metodologi Agile, dengan tahapan yang meliputi preliminary research, perumusan masalah, studi literatur, pengembangan aplikasi, dan evaluasi. Aplikasi dibangun menggunakan teknologi seperti Node.js, Next.js, dan PostgreSQL, serta diimplementasikan melalui platform Vercel dan GitHub. Penelitian ini menggunakan scenario-based task untuk mengevaluasi efektivitas chatbot dengan model GPT-3.5-turbo. Partisipan dibagi menjadi dua kelompok, satu menggunakan metode pencarian tanpa bantuan AI chatbot dan yang lain mendapatkan bantuan AI chatbot. Eksekusi scenario-based task pada penelitian ini dilakukan terhadap organisasi RM. Payakumbuah Cibubur dan BPOM. Selain dua organisasi tersebut, dilakukan juga uji coba untuk memvalidasi model penelitian dengan melakukan scenario-based task terhadap lingkungan Fasilkom UI. Parameter yang diukur termasuk di dalamnya akurasi informasi dan efisiensi waktu. Akurasi diukur dengan membandingkan nilai jawaban partisipan dengan bantuan AI dan tanpa bantuan AI, sementara efisiensi waktu diukur dari durasi yang diperlukan untuk menyelesaikan tugas. Analisis statistik dilakukan menggunakan Wilcoxon signed-rank test untuk efisiensi waktu dan Mann-Whitney U test untuk akurasi jawaban demi menentukan signifikansi perbedaan antara kedua kelompok. Hasil penelitian menunjukkan bahwa penggunaan AI chatbot mampu mempercepat waktu yang dibutuhkan karyawan dalam pencarian informasi organisasi. Selain itu, implementasi AI chatbot mampu menyajikan jawaban dengan akurasi yang konsisten. Kesimpulan dari penelitian ini adalah integrasi AI chatbot dalam knowledge retrieval organisasi memberikan manfaat dalam hal efisiensi dan akurasi. Kata Kunci: AI chatbot, Knowledge retrieval, Wilcoxon signed-rank, Mann-Whitney U, Scenario-based Task