Amazon Athena에서 파티션이 많은 테이블을 쿼리할 때 시간이 초과되는 이유는 무엇입니까?

최종 업데이트 날짜: 2019년 7월 30일

내 Amazon Athena 테이블에는 수만 또는 수십만 개의 많은 파티션이 있습니다. 테이블을 쿼리할 때 Athena에서 시간이 초과됩니다. 그러나 테이블이 분할되어 있지 않으면 쿼리가 예상대로 수행됩니다. 왜 이런 현상이 발생하며, 이 문제를 해결하려면 어떻게 해야 합니까?

간략한 설명

이 문제는 문자열 유형이 아닌 파티션이 많은 경우에 발생합니다. 문자열 유형을 사용하는 경우 Athena는 메타스토어 수준에서 파티션을 정리합니다. 그러나 다른 데이터 유형을 사용하는 경우에는 Athena가 서버 측에서 파티션을 정리합니다. 파티션이 많을수록 이 프로세스에 시간이 많이 걸리고 쿼리가 시간 초과될 가능성이 높아집니다.

​해결 방법

이 문제를 해결하려면 파티션 유형을 문자열로 설정합니다. 이 작업을 수행하면 Athena는 파티션을 메타스토어 수준에서 정리합니다. 따라서 오버헤드가 줄어들고 쿼리 시간 초과 문제를 방지합니다.


이 문서가 도움이 되었습니까?

AWS에서 개선해야 할 부분이 있습니까?


도움이 필요하십니까?