投稿日: Aug 31, 2021
本日、Amazon Kinesis Data Firehose の動的パーティショニングを発表しました。動的パーティショニングを使用すると、「customer_id」や「transaction_id」などのデータ内のキーを使用して、Kinesis Data Firehose でストリーミングデータを継続的にパーティショニングし、これらのキーによってグループ化されたデータを対応する Amazon Simple Storage Service (Amazon S3) プレフィックスに配信できるため、Amazon Athena、Amazon EMR、Amazon Redshift Spectrum を使用して、Amazon S3 のストリーミングデータに対して高性能で費用対効果の高い分析を実行することが簡単になります。
データをパーティション化すると、スキャンされるデータの量が最小限に抑えられ、Amazon S3 での分析クエリのパフォーマンスが最適化されてコストが削減され、データへのきめ細かいアクセスが強化されます。従来、お客様は、Kinesis Data Firehose 配信ストリームを使用して、データストリームをキャプチャして Amazon S3 にロードしていました。Amazon S3 ベースの分析用にストリーミングデータセットをパーティション化するには、データを分析のために使用可能な状態にする前に、Amazon S3 バケット間でパーティション化アプリケーションを実行する必要がありました。これは、複雑な作業となったり、コストがかかったりする可能性がありました。
動的パーティショニングにより、Kinesis Data Firehose は、動的または静的に定義されたデータキーによって転送中のデータを継続的にグループ化し、キー別に個々の Amazon S3 プレフィックスに配信します。これにより、インサイトを得るまでの時間が数分または数時間短縮され、コストが削減され、アーキテクチャが簡素化されます。Apache Parquet および Apache ORC 形式の変換機能に加えて、この機能があることにより、Kinesis Data Firehose は、キャプチャ、準備、および分析対応のストリーミングデータを Amazon S3 にロードするのに最適な場所となります。
動的パーティショニングを開始するには、Kinesis Data Firehose ユーザーガイドを参照してください。また、動的パーティショニングのオンデマンド料金の詳細については、料金のページを参照してください。動的パーティショニングは、Kinesis Data Firehose が利用可能なすべての商用 AWS リージョンでご利用いただけます。