게시된 날짜: Aug 31, 2021
오늘 Amazon Kinesis Data Firehose에서 동적 파티셔닝을 발표했습니다. 동적 파티셔닝을 기반으로 ‘customer_id’ 또는 ‘transaction_id’와 같은 키를 사용해 Kinesis Data Firehose에서 지속적으로 스트리밍 데이터를 파티셔닝하고 이러한 키를 기준으로 그룹화된 데이터를 대응하는 Amazon Simple Storage Service(Amazon S3) 접두사로 전송할 수 있습니다. 그러면 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum을 사용하여 Amazon S3에서 스트리밍 데이터에 대한 비용 효율적인 고성능 분석을 더 쉽게 실행할 수 있습니다.
데이터를 파티셔닝하면 스캔하는 데이터를 최소화하여 Amazon S3에서 분석 쿼리에 대한 비용을 줄이고 성능을 최적화하며 데이터에 대한 세분화된 액세스를 늘릴 수 있습니다. 기존 방식대로라면 고객은 Kinesis Data Firehose 전송 스트림을 사용하여 데이터 스트림을 캡처해 Amazon S3로 로드합니다. Amazon S3 기반 분석에 대한 스트리밍 데이터 세트를 파티셔닝하려면 데이터를 분석에 사용할 수 있도록 준비하기 전에 Amazon S3 버킷 사이에서 파티셔닝 애플리케이션을 실행해야 합니다. 이 경우 매우 복잡해지거나 높은 비용이 발생할 수 있습니다.
이제 Kinesis Data Firehose는 동적 파티셔닝을 통해 동적으로 또는 정적으로 정의된 데이터 키를 기준으로 전송 중인 데이터를 지속적으로 그룹화하고, 키를 기준으로 개별 Amazon S3 접두사로 전달합니다. 분 또는 시간 단위로 인사이트 도출 시간이 줄어들어 비용을 줄이고 아키텍처를 단순화합니다. Apache Parquet 및 Apache ORC 형식 변환 기능과 함께 이 기능을 바탕으로 Kinesis Data Firehose는 분석을 수행할 수 있는 스트리밍 데이터를 캡처 및 준비하고 Amazon S3에 로드할 수 있는 최상의 서비스를 제공합니다.
동적 파티셔닝을 시작하려면 Kinesis Data Firehose 사용 설명서를 참조하거나 동적 파티셔닝 관련 온디맨드 요금에 대해 알아보려면 요금 페이지를 참조하세요. 동적 파티셔닝은 Kinesis Data Firehose가 제공되는 모든 상용 AWS 리전에서 사용할 수 있습니다.