게시된 날짜: Sep 5, 2018
Amazon S3에서는 S3 Select의 기능 향상을 발표했습니다. S3 Select는 객체에서 필요한 데이터만 가져오도록 고안된 Amazon S3 기능으로, S3의 데이터에 액세스해야 하는 애플리케이션의 성능을 획기적으로 개선하고 비용을 절감할 수 있습니다.
현재 Amazon S3 Select는 CSV 및 JSON 형식으로 저장된 객체에서 작동합니다. 고객 피드백을 바탕으로 Apache Parquet 형식, JSON 어레이, CSV 및 JSON 객체용 BZIP2 압축에 대한 S3 Select 지원을 발표하게 된 것을 기쁘게 생각합니다. 또한, AWS에서는 S3 Select에 대한 CloudWatch 지표 지원을 추가하므로 애플리케이션의 S3 Select 사용을 모니터링할 수 있습니다.
Parquet은 Hive, Presto 및 Impala와 같은 다양한 쿼리 엔진뿐만 아니라 Spark 및 MapReduce와 같은 여러 프레임워크를 지원하므로 널리 사용됩니다. S3 Select Parquet을 사용하면 S3 Select를 사용하여 S3에 저장된 데이터에서 특정 열을 검색할 수 있으며, GZIP 또는 Snappy를 사용한 열 압축을 지원합니다. 결과의 형식을 CSV 또는 JSON으로 지정할 수 있으며 결과의 레코드가 구분되는 방식을 결정할 수 있습니다.
JSON 어레이가 지원되므로 JSON 객체의 내부 노드를 반복할 수 있습니다. S3 Select 쿼리의 FROM 절에 경로 탐색을 지정하여 이러한 중첩 JSON 객체를 쿼리할 수 있습니다.
BZIP2는 널리 사용되는 압축 형식으로 텍스트 데이터를 압축하는 데 사용되며 일반적으로 다른 많은 압축 알고리즘 유형보다 훨씬 효율적입니다.
S3에 대한 CloudWatch 지표를 사용하면 애플리케이션 상태를 추적할 수 있습니다. 이러한 지표는 1분 간격으로 제공되므로 운영 문제를 신속하게 파악하고 조치를 취할 수 있습니다. 새로운 S3 Select 특정 지표에는 S3 Select 요청 수, 스캔된 데이터 양, 반환된 데이터 양이 포함됩니다.
오늘부터 Amazon S3 Select의 이러한 기능을 모든 상용 AWS 리전에서 사용할 수 있습니다.
Amazon S3 Select에 대해 자세히 알아보려면 Amazon S3 개발자 안내서의 객체에서 콘텐츠 선택 페이지를 참조하십시오. S3에 대한 Amazon CloudWatch 지표에 대해 자세히 알아보려면 Amazon S3 개발자 안내서의 Amazon CloudWatch로 지표 모니터링 페이지를 참조하십시오. 시작하려면 AWS Management Console로 이동하십시오.