Amazon Athena for Apache Spark, 이제 Amazon SageMaker에서 사용 가능
Amazon SageMaker가 이제 Amazon Athena for Apache Spark를 지원하여, 통합형 작업 공간에서 새로운 노트북 환경과 빠른 서버리스 Spark 환경을 제공합니다. 이제 데이터 엔지니어, 분석가 및 데이터 사이언티스트는 인프라 관리나 이중 과금에서 해당되어, 한 곳에서 데이터 쿼리, Python 코드 실행, 작업 개발, 모델 학습, 데이터 시각화, AI 작업을 쉽게 수행할 수 있습니다.
Athena for Apache Spark는 몇 초 만에 확장되기 때문에 대화형 쿼리에서 페타바이트 규모의 작업에 이르는 모든 워크로드를 지원할 수 있습니다. Athena for Apache Spark는 이제 AWS에서 제공되는 것과 동일한 고성능 Spark 엔진인 Spark 3.5.6에서 실행됩니다. Apache Iceberg와 Delta Lake를 포함한 오픈 테이블 형식에 최적화되어 있습니다. 새로운 디버깅 기능, Spark UI에서의 실시간 모니터링, Spark Connect를 통한 안전한 대화형 클러스터 통신을 제공합니다. 사용자가 이러한 기능을 사용하여 데이터를 처리하면, 이제 Athena for Spark는 AWS Lake Formation에 정의된 테이블 수준 액세스 제어를 적용합니다.
Athena for Apache Spark는 이제 Amazon SageMaker Unified Studio가 지원되는 모든 리전의 Amazon SageMaker 노트북에서 사용할 수 있습니다. 자세히 알아보려면 Apache Spark 엔진 버전 3.5를 방문하거나, AWS 뉴스 블로그를 읽거나, Amazon SageMaker 설명서를 참조하세요. 시작 안내서를 확인해 Amazon SageMaker 노트북에서 사용해 보세요.