Amazon EMR เปิดตัวการสนับสนุนระยะยาวพร้อม Apache Spark 4.1
Amazon EMR เปิดตัวรุ่นที่มีการสนับสนุนระยะยาว (LTS) โดยเริ่มตั้งแต่ emr-spark-8.1.0 และ Apache Spark 4.1 ด้วย LTS เวอร์ชันที่กำหนดของรันไทม์ AWS สำหรับ Apache Spark จะได้รับการสนับสนุนเป็นเวลา 36 เดือน Amazon EMR ให้บริการรุ่น LTS ที่มีการแก้ไขปัญหาด้านความปลอดภัยที่มีความรุนแรงระดับวิกฤตและระดับสูง ข้อบกพร่อง และปัญหาข้อมูลเสียหาย ทั้งนี้ขึ้นอยู่กับความพร้อมใช้งาน LTS ช่วยให้คุณสามารถเรียกใช้เวิร์กโหลด Spark ในการใช้งานจริงบนรุ่นเดียวได้นานขึ้น และอัปเกรดตามกำหนดการของคุณเองโดยไม่มีค่าใช้จ่ายเพิ่มเติม
รุ่นนี้เพิ่มการรองรับ Apache Iceberg v3 อย่างเต็มรูปแบบ โดยนำความสามารถใหม่ด้านข้อมูลเชิงพื้นที่ การลงเวลาที่มีความแม่นยำสูง และการพัฒนาสคีมามาสู่ตารางของคุณ การสืบค้น Spark SQL สามารถอ้างอิงแค็ตตาล็อกตามชื่อได้ รวมถึงแค็ตตาล็อกแบบข้ามบัญชีและแค็ตตาล็อกตาราง Amazon S3 อีกทั้งยังตรวจจับรูปแบบตาราง Apache Iceberg, Delta Lake และ Apache Hudi ได้โดยอัตโนมัติ โดยไม่ต้องลงทะเบียนแค็ตตาล็อกแต่ละรายการในการกำหนดค่า Spark ของคุณ ขณะนี้ การควบคุมสิทธิ์เข้าถึงแบบละเอียดครอบคลุมการดำเนินการของ Apache Iceberg เพิ่มเติมและการดำเนินการ VACUUM ของ Delta Lake เพื่อให้คุณสามารถใช้สิทธิ์ระดับคอลัมน์และระดับแถวกับงานประเภทต่างๆ ได้มากขึ้น ขณะนี้ คลัสเตอร์ Amazon EMR บน EKS รองรับตำแหน่งข้อมูล Spark Connect พร้อมการยืนยันตัวตนโดยใช้โทเค็นแล้ว
emr-spark-8.1.0 พร้อมใช้งานใน AWS Region ทุกแห่งที่มี Amazon EMR ให้บริการ รวมถึง Amazon EMR บน EC2, Amazon EMR บน EKS และ Amazon EMR Serverless
ดูข้อมูลเพิ่มเติมได้ที่บันทึกย่อประจำรุ่น emr-spark-8.1.0 และนโยบายการสนับสนุนมาตรฐานของ Amazon EMR ในการเริ่มต้นใช้งาน ให้สร้างคลัสเตอร์หรือแอปพลิเคชัน EMR ด้วย emr-spark-8.1.0 จากคอนโซลการจัดการของ AWS หรือใช้ Apache Spark Upgrade Agent สำหรับ Amazon EMR เพื่อย้ายแอปพลิเคชันที่มีอยู่ไปยังรุ่นนี้