Pada penelitian ini, penulis mencoba merealisasikan sistem pelacakan ujung-ujung jari yang diperuntukan untuk interaksi yang lebih baik antara manusia dan komputer serta untuk membantu penangkapan gerak jemari tangan guna pembuatan animasi 3D. Pelacakan posisi ujung-ujung jari dilakukan dalam dua proses terpisah yakni: (1) pelacakan posisi dua dimensi (2D) vertical dan horizontal atau posisi (, ) dari citra RGB (red, green, blue); (2) pelacakan dimensi ketiga yaitu () dari citra kedalaman atau depth images yang dikalibrasi, yang kemudian disatukan kedalam pelacakan posisi tiga dimensi (, , ) menggunakan Particle Filter (PF). Posisi 2D atau (, ) ditemukan dengan cara menghitung Convex Hull 2D dari citra hasil binerisasi citra asli. Sedangkan posisi 3D ditentukan menggunakan metode Stephane-Magnenat dari citra kedalaman. Setelah itu, masing-masing ujung jari dilacak oleh beberapa pelacak PF secara simultan dengan teknologi multithreading. Untuk menguji efektifitas sistem yang dikembangkan penulis membuat modul grafika tangan 3D untuk mensimulasikan gerakan tangan hasil pelacakan. Hasil pelacakan ujung-ujung jari ini kemudian juga digunakan untuk mensimulasikan kontrol pembesaran (zoom-in) dan pengecilan (zoom-out) yang banyak dilakukan pada interaksi manusia dengan televisi maupun perangkat tablet melalui pembesaran dan pengecilan objek sederhana seperti bola dengan gerakan jemari tangan. Selain itu, penulis juga mengukur tingkat akurasi, overhead waktu komputasi, dan kemampuan untuk beradaptasi terhadap halangan atau occlusion dalam beberapa skenario eksperimen. Penanganan occlusion dilakukan dengan memprediksi gerakan jari menggunakan suatu model linier. Hasil dari penelitian ini menunjukan bahwa PF merupakan metode yang baik dalam melacak yaitu ditunjukan dengan rata-rata error yang rendah, kurang dari 2. Kemudian untuk penangan occlusion didapat rata-rata error kurang dari 3. Selain itu, Kemampuan sistem baik, yaitu dalam merealisasikan informasi pelacakan ujung jari kedalam animasi tangan 3D dan antar muka alami sederhana sebagai uji kasus ditunjukan dengan kemampuan menirukan gerakan tangan dan dalam mengontrol operasi zoom in/out.