게시된 날짜: Jun 8, 2023
이제 Amazon Athena for Apache Spark에서 자체 Java 라이브러리를 사용할 수 있으며 Spark 워크로드용 Spark 구성을 사용자 지정할 수 있습니다. Athena Spark에서 Java 라이브러리를 사용자 지정 JAR로 사용해 여러 소스의 데이터를 분석할 수도 있고, 사용자 지정 jar의 함수를 사용하여 계산을 더욱 유동적으로 실행할 수도 있습니다.
Amazon Athena의 기능인 Amazon Athena for Apache Spark를 사용하면 1초 내에 Apache Spark에서 대화형 분석을 실행하여 페타바이트 분량의 데이터를 분석할 수 있습니다. 이제는 Spark 워크로드에 자체 Java 라이브러리 및 모듈을 JAR 파일로 포함하여 다양한 데이터 소스에 연결할 수 있으며, 사용자 정의 함수를 사용하여 고급 계산을 실행해 기능 탐색을 수행할 수 있습니다. 또한 Athena에서 세션용 Spark 구성을 설정하여 Java 패키지에 필요한 사용자 지정 설정을 제공하거나, 디자인 패턴 등의 데이터 메시 지원을 위해 여러 계정에서 AWS Glue 카탈로그에 액세스하는 등의 작업을 수행할 수도 있습니다. 이번에 지원이 발표된 사용자 지정 라이브러리에는 Amazon CloudWatch Logs, CloudWatch 메트릭 및 Amazon DynamoDB용 참조 커넥터 패키지 세트가 포함되어 있으므로 서비스의 데이터를 인사이트에 사용할 수 있습니다.
사용자 지정 Java 라이브러리 및 사용자 지정 Spark 구성 지원은 Amazon Athena for Apache Spark가 제공되는 9개 AWS 리전인 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(아일랜드), 유럽(프랑크푸르트), 아시아 태평양(도쿄), 아시아 태평양(싱가포르), 아시아 태평양(시드니) 및 아시아 태평양(뭄바이)에서 사용 가능합니다. 자세한 내용을 알아보고 이러한 라이브러리와 구성의 사용을 시작하려면 Amazon Athena for Apache Spark 설명서 페이지로 이동하세요.