Amazon EMR, Apache Spark 4.1을 통한 장기 지원 도입
Amazon EMR이 emr-spark-8.1.0과 Apache Spark 4.1부터 장기 지원(LTS) 릴리스를 도입합니다. LTS를 사용하면 Apache Spark용 일부 AWS 런타임 버전이 36개월 동안 지원을 받을 수 있습니다. Amazon EMR은 가용성에 따라 중대하고 매우 심각한 보안, 버그, 데이터 손상 문제에 대한 수정 사항이 포함된 LTS 릴리스를 제공합니다. LTS를 사용하면 한 릴리스에서 프로덕션 Spark 워크로드를 더 오래 실행하고, 추가 비용 없이 자체 일정에 따라 업그레이드할 수 있습니다.
이번 릴리스는 Apache Iceberg v3를 완벽하게 지원하여 테이블에 새로운 지리 공간 데이터, 고정밀 타임스탬프, 스키마 진화 기능을 제공합니다. Spark SQL 쿼리는 교차 계정과 Amazon S3 Tables 카탈로그를 포함한 카탈로그를 이름으로 참조할 수 있고 Apache Iceberg, Delta Lake, Apache Hudi 테이블 형식을 자동으로 탐지할 수 있습니다. Spark 구성에 각 카탈로그를 별도로 등록할 필요가 없습니다. 세분화된 액세스 제어가 이제 더 많은 Apache Iceberg 작업과 Delta Lake VACUUM 작업을 포괄하므로 열 수준 및 행 수준 권한을 더 광범위한 작업에 적용할 수 있습니다. EKS 클러스터의 Amazon EMR은 이제 토큰 기반 인증을 통해 Spark Connect 엔드포인트를 지원합니다.
emr-spark-8.1.0은 Amazon EMR on EC2, Amazon EMR on EKS, Amazon EMR Serverless 등 Amazon EMR이 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
자세한 내용은 emr-spark-8.1.0 릴리스 노트 및 Amazon EMR 표준 지원 정책을 참조하세요. 시작하려면 AWS Management Console에서 emr-spark-8.1.0을 사용하여 EMR 클러스터 또는 애플리케이션을 생성하거나, Amazon EMR용 Apache Spark 업그레이드 에이전트를 사용하여 기존 애플리케이션을 해당 릴리스로 이전하세요.