게시된 날짜: Nov 19, 2021
오늘 Amazon Athena가 쿼리 계획을 최적화하고 쿼리 런타임을 감소시키는 AWS Glue 데이터 카탈로그 파티션 인덱스를 지원한다는 것을 발표하게 되어 기쁘게 생각합니다. 많은 수의 파티션을 포함한 테이블을 쿼리할 때, Athena는 AWS Glue 데이터 카탈로그에서 사용 가능한 파티션을 검색하고 쿼리에 어떤 것이 필요한지 결정합니다. 신규 파티션이 추가되면 파티션을 검색하는 데 필요한 시간은 증가하고, 이는 쿼리 런타임이 증가하는 원인이 될 수 있습니다. AWS Glue 데이터 카탈로그는 파티션 인덱스 생성을 허용하여 수만, 수십만 개의 파티션을 가진 테이블에서 파티션 메타데이터를 검색하고 필터링하는 데 필요한 시간을 감소시킵니다.
Athena에서 파티션 인덱스를 사용하는 것은 간단하며 2단계의 과정입니다. Glue 데이터 카탈로그에서 인덱스하려는 열을 선택하고 인덱스를 생성합니다. 그 다음, 테이블에 파티션 필터링을 활성화하고 Athena에서 쿼리를 실행합니다. 자세한 내용은 AWS Glue 파티션 인덱싱 및 필터링을 참조하세요.
파티션 인덱스는 신규 테이블과 기존 테이블을 지원하므로 성능 이점을 실현하기 위해 데이터 집합을 다시 구축하거나 쿼리를 재작성할 필요가 없습니다. 자세한 내용은 AWS Glue 데이터 카탈로그 파티션 인덱스를 사용한 Amazon Athena 쿼리 성능 향상을 참조하세요.
또한 파티션 인덱스는 Amazon Athena뿐만 아니라 Amazon EMR, Amazon Redshift Spectrum, AWS Glue에서 실행되는 분석 워크로드에도 유용합니다. 자세한 내용은 AWS Glue 파티션 인덱스를 사용한 쿼리 성능 향상을 참조하세요.