Amazon EMR รองรับ Apache Spark 4.0.2 แบบพร้อมใช้งานทั่วไปแล้ว
ขณะนี้ Amazon EMR รองรับ Apache Spark 4.0.2 ในโมเดลการนำไปใช้จริงทั้งสามรูปแบบ ด้วย Spark 4.0.2 จะทำให้คุณสามารถสร้างและดูแลรักษา Pipeline ข้อมูลได้ง่ายยิ่งขึ้นด้วย ANSI SQL และชนิดข้อมูล VARIANT, บังคับใช้การควบคุมสิทธิ์เข้าถึงแบบละเอียด (FGAC) ในระดับแถวหรือระดับคอลัมน์, เสริมความแข็งแกร่งให้กับเฟรมเวิร์กด้านการปฏิบัติตามข้อกำหนดและการกำกับดูแลด้วยรูปแบบตาราง Apache Iceberg v3 และปรับใช้แอปพลิเคชันแบบเรียลไทม์ใหม่ได้รวดเร็วยิ่งขึ้นด้วยความสามารถด้านสตรีมมิงที่ได้รับการปรับปรุง
ด้วย Spark 4.0.2 จะทำให้คุณสามารถสร้าง Pipeline ข้อมูลได้ โดยช่วยให้การทำวิศวกรรมข้อมูลเข้าถึงผู้ใช้ในวงกว้างมากขึ้นผ่านการรองรับ ANSI SQL มาตรฐาน และลดความจำเป็นในการเรียนรู้ไวยากรณ์เฉพาะของ Spark Spark 4.0.2 รองรับ JSON และข้อมูลกึ่งโครงสร้างแบบดั้งเดิมผ่านประเภทข้อมูล VARIANT และให้ความยืดหยุ่นในการจัดการรูปแบบข้อมูลที่หลากหลาย คุณสามารถบังคับใช้การควบคุมสิทธิ์เข้าถึงแบบละเอียด (FGAC) ทั้งในการดำเนินการอ่านและเขียนสำหรับตารางที่จดทะเบียน AWS Lake Formation ในงาน Apache Spark ของคุณ ต่อยอดจากความสามารถด้านความปลอดภัยเหล่านี้ รูปแบบตาราง Apache Iceberg v3 มอบการรับประกันธุรกรรมที่แข็งแกร่งยิ่งขึ้นและติดตาม Data Lineage ซึ่งช่วยสร้างเส้นทางการตรวจสอบที่จำเป็นสำหรับการปฏิบัติตามข้อกำหนดด้านกฎระเบียบ การควบคุมสตรีมมิงที่ได้รับการปรับปรุงช่วยให้การจัดการการดำเนินการแบบมีสถานะที่ซับซ้อนง่ายขึ้น และปรับปรุงการตรวจติดตาม ทำให้คุณสามารถปรับใช้แอปพลิเคชันแบบเรียลไทม์สำหรับการตรวจจับการฉ้อโกง การปรับแต่งเฉพาะบุคคล และกรณีการใช้งานอื่น ๆ ที่ต้องการการตอบสนองอย่างทันท่วงทีได้รวดเร็วยิ่งขึ้น
Apache Spark 4.0.2 พร้อมใช้งานในรีเจี้ยนทุกแห่งที่ Amazon EMR ให้บริการแล้ว หากคุณกำลังอัปเกรดแอปพลิเคชัน EMR ที่มีอยู่ คุณสามารถใช้ Apache Spark Upgrade Agent เพื่อช่วยเร่งการอัปเกรดได้ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Apache Spark 4.0.2 บน Amazon EMR โปรดไปที่บันทึกประจำรุ่นของ Amazon EMR หรือเริ่มต้นใช้งานโดยสร้างแอปพลิเคชัน EMR ที่ใช้ Spark 4.0.2 จากคอนโซลการจัดการของ AWS