Amazon EMR Serverless, 이제 Apache Spark 4.0.1(평가판) 지원
Amazon EMR Serverless가 이제 Apache Spark 4.0.1(평가판)을 지원합니다. Spark 4.0.1을 사용하면 ANSI SQL 및 VARIANT 데이터 유형을 사용하여 데이터 파이프라인을 쉽게 구축하고 유지 관리하며, Apache Iceberg v3 테이블 형식을 이용해 규정 준수 및 거버넌스 프레임워크를 강화하고, 향상된 스트리밍 기능을 이용해 새로운 실시간 애플리케이션을 더 빠르게 배포할 수 있습니다. 이를 통해 팀은 기술 부채를 줄이고, 작업을 더 빠르게 반복하면서도 데이터의 정확성과 일관성을 보장할 수 있습니다.
Spark 4.0.1을 사용하면 표준 ANSI SQL로 데이터 파이프라인을 구축할 수 있습니다. 따라서 Python이나 Scala 같은 프로그래밍 언어를 모르는 많은 사용자가 데이터에 액세스할 수 있습니다. Spark 4.0.1은 VARIANT 데이터 유형을 통해 JSON 및 반정형 데이터를 기본적으로 지원하기 때문에 다양한 데이터 형식을 처리할 수 있습니다. 사용자는 이 형식은 트랜잭션을 보장하고 시간 경과에 따른 데이터 변경을 추적하여 규제 요건에 필요한 감사 추적을 생성하는, Apache Iceberg v3 테이블 형식을 통해 규정 준수와 거버넌스를 강화할 수 있습니다. 복잡한 상태 저장 작업을 관리하고 스트리밍 작업을 쉽게 모니터링할 수 있게 하는, 향상된 스트리밍 제어를 통해 실시간 애플리케이션을 더 빠르게 배포할 수도 있습니다. 이 기능은 사기 탐지 및 실시간 개인화와 같은 사용 사례에 도움이 됩니다.
Apache Spark 4.0.1은 중국 및 AWS GovCloud(미국) 리전을 제외한, EMR Serverless가 제공되는 모든 리전에서 평가판으로 사용할 수 있습니다. Amazon EMR의 Apache Spark 4.0.1에 대해 자세히 알아보려면 Amazon EMR Serverless 릴리스 노트를 참조하거나, AWS Management Console에서 Spark 4.0.1을 사용하는 EMR 애플리케이션을 만들어 작업을 시작해 보세요.