สายงานลำดับข้อมูลของ Apache Spark พร้อมให้ใช้งานแล้วใน Amazon SageMaker Unified Studio สำหรับโดเมนที่ใช้ IDC
Amazon SageMaker ประกาศความพร้อมใช้งานทั่วไปของ Data Lineage สำหรับงาน Apache Spark ที่รันบน Amazon EMR และ AWS Glue ใน SageMaker Unified Studio สำหรับโดเมนที่ใช้ IDC Data Lineage ช่วยให้คุณมีข้อมูลที่จำเป็นในการระบุสาเหตุของปัญหาที่ซับซ้อนและทำความเข้าใจผลกระทบของการเปลี่ยนแปลง
ฟีเจอร์นี้รองรับการบันทึก Data Lineage ของสกีมาและการแปลงข้อมูลในระดับแอสเซ็ตและคอลัมน์ จากการประมวลผล Spark บน EMR-EC2, EMR-Serverless, EMR-EKS และ AWS Glue จากนั้นคุณสามารถสำรวจ Data Lineage นี้ในรูปแบบกราฟผ่าน SageMaker Unified Studio หรือสอบถามข้อมูลผ่าน API ได้ คุณยังสามารถใช้ Data Lineage เพื่อเปรียบเทียบการแปลงข้อมูลในประวัติของงาน Spark ได้
Spark lineage พร้อมให้ใช้งานในทุกรีเจี้ยนของ SageMaker Unified Studio ที่มีอยู่ทั้งหมด สำหรับข้อมูลรายละเอียดเกี่ยวกับวิธีเริ่มต้นใช้งานสายงานด้วยฟีเจอร์ใหม่นี้ โปรดดูที่เอกสารประกอบ