Call Number | KP-3794 |
Collection Type | Kerja Praktek (KP) |
Title | Penerapan Dimensi Kualitas Data pada Proses ETL |
Author | Takayuki Muhamad Rabbani; |
Publisher | Depok: Fasilkom UI, 2024 |
Subject | Kualitas Data pada Proses ETL |
Location | FASILKOM-UI; |
Nomor Panggil | ID Koleksi | Status |
---|---|---|
KP-3794 | TERSEDIA |
Nama : Takayuki Muhamad Rabbani Program Studi : Ilmu Komputer Judul : Penerapan Dimensi Kualitas Data pada Proses ETL Pembimbing : Ichlasul Affan, S.Kom., M.Kom. Selama pelaksanaan kerja praktik di PT. Espay Debit Indonesia Koe, tugas-tugas telah dilaksanakan mulai dari tanggal 26 Desember 2023 hingga 8 Maret 2024, de- ngan durasi total selama sepuluh minggu sebagai seorang data quality engineer di tim data platform. Terdapat beberapa teknologi yang digunakan untuk menunjang pekerjaan sebagai data quality engineer, yaitu Alibaba Cloud, MaxCompute, Data- Works, Airflow, Python, Pandas, Polars, dan FileZilla. Selama melakukan peker- jaan, terdapat release di setiap bulannya di mana di awali dengan carding pem- bagian story points, lalu pemantauan capaian pekerjaan dengan sync-up meeting yang bersifat harian dan mingguan, serta di akhir release dilakukan review hasil akhir pekerjaan melalu SA Review dan 1-on-1 meeting. Hasil pekerjaan yang telah berhasil dilakukan selama periode kerja praktik adalah pemasangan data quality metrics pada data pipeline, menurunkan CPU usage pada proses data quality check, pengecekan terhadap completeness pada data pipeline, dan melakukan pemasangan alarm untuk pengecekan data quality. Evaluasi dari kerja praktik yang dilakukan menunjukan indikasi yang baik karena terdapat banyak pelajaran yang didapatkan, baik dari segi teknis maupun non-teknis. Kata kunci: data quality, data engineering, data pipeline, ETL