Amazon Kinesis Data Streams がデータインジェストを簡素化するサービスマネージドパーティションキーの提供を開始
Amazon Kinesis Data Streams では、オンデマンドスタンダードおよびオンデマンドアドバンテージのストリーム向けのサービスマネージドパーティションキーがサポートされるようになりました。これにより、データを書き込む際にパーティションキーを指定しなくても、レコードがシャード全体に自動的に分散されます。この機能により、レコードの順序付けが不要なワークロードのデータインジェストが簡素化されます。また、ホットパーティションキーの発生を防ぎ、ストリーミングワークロードを本番環境に投入するまでの時間を短縮できます。
Amazon Kinesis Data Streams は、サーバーレスストリーミングデータサービスであり、あらゆる規模のデータストリームを簡単にキャプチャ、処理、保存することを可能にします。ログの集約、メトリクスの収集、IoT テレメトリといった多くのストリーミングのユースケースでは、順序保証が不要であり、事前にウォームアップされたキャパシティで即座にスケールできることにメリットがあります。これまでは、データを分散させるために、UUID などのランダムなパーティションキーを生成する必要がありました。しかし、ランダムなパーティショニングでもシャード間のスループットに偏りが生じる場合があり、ストリーム全体では十分なキャパシティがあっても、一部のパーティションキーでスロットリングが発生することがありました。サービスマネージドパーティションキーを有効にすると、オンデマンドモードのストリームにデータを書き込む際に、パーティションキーを指定する必要がなくなります。利用可能なウォームキャパシティに基づいてレコードが自動的に分散されるため、分散ロジックを管理することなく、毎秒ギガバイト単位の規模までスケールできます。パーティションキーを指定せずにレコードを送信したい場合は、AWS SDK または Kinesis Producer Library (KPL) を最新バージョンにアップグレードするだけで、この機能を利用できます。
Amazon Kinesis Data Streams のサービスマネージドパーティションキーは、本日より、すべての AWS 商用リージョンで追加料金なしで利用できます。使用を開始するには、Amazon Kinesis Data Streams のドキュメント (https://aws.amazon.com/kinesis) を参照してください。
すべての AWS 商用リージョン