DEV Community

loading...

Discussion on: 5 Challenges ในการสร้าง Production-Grade Data Pipeline

Collapse
nocommenz profile image
Piti Pitiaunchamroen

ถ้าเป็น platform ของ google cloud สำหรับ data lineage มี service ไหนแนะนำไหมครับ

Collapse
zkan profile image
Kan Ouivirach Author

ของ GCP น่าจะชื่อ Cloud Data Fusion ครับ แต่ผมไม่เคยใช้นะ >_<

ส่วนถ้า open source ที่ผมรู้จักก็จะมี

เคยพยายามจะเซต Amundsen มาใช้ แต่ยังไม่ประสบความสำเร็จครับ ตอนนี้เลยใช้ Airflow เป็นหลัก ดูภาพรวมจาก ตัว DAG แล้วก็คอยอัพเดท metadata ต่างๆ พยายามทำ doc ให้เคลียร์ๆ ครับตอนนี้

Collapse
nocommenz profile image
Piti Pitiaunchamroen

ขอบคุณมากเลยครับ