投稿日: Mar 23, 2020
本日より、Amazon Kinesis Data Streams で、UpdateShardCount API を使用して 1 個のデータストリームに対し 10,000 シャードまでスケールアップすることが可能になりました。Amazon Kinesis Data Streams を使用すると、クリックストリーム、金融取引、ソーシャルメディアフィードなどから送られてくるデータを、1 時間あたり数テラバイトもの規模でキャプチャ、保存、分析することができます。UpdateShardCount API を使用すると、データストリームの容量のスケールアップやスケールダウンを素早く実施できるため、プロデューサーアプリケーションやコンシューマーアプリケーションを中断することなく、データボリュームの変更に対処することができます。
Kinesis シャード 1 個につき、受信スループットは 1 MB/秒、送信スループットは 2 MB/秒です。シャードを追加することで、ストリームのスループットを向上させることができます。従来、UpdateShardCount API でのスケールアップにおけるシャードの最大数は、500 個でした。この度の更新により、ストリームの容量を 10,000 シャードまで迅速にスケールアップできるようになりました。これは従来の 20 倍に相当します。たとえば、スループットが 10 MB/秒のシャードが 10 個ある場合、従来はシャードを 500 個にスケールアップして 500 MB/秒の受信スループットを得ることができました。現在では、トラフィック増大への対処時に、1 回の API コールだけで、またはコンソールを 1 回クリックするだけで、シャード数で 10,000 個、スループットでは 10,000 MB/秒までスケールアップできるようになりました。トラフィックが減少したら、それに合わせて容量をスケールダウンすることもできます。
シャード数の更新は非同期的なオペレーションになります。Kinesis Data Streams では、シャードごとに分割やマージを実行して、シャード数を更新します。スケーリングオペレーションが進行中でも、データの読み取りやストリームへの書き込みを続行できます。本機能の使用には、KPL バージョン 0.14.0 以降の使用と、KCL のバージョン 1.9 以降へのアップグレードをお勧めします。詳細については、API リファレンスのドキュメントを参照してください。
UpdateShardCount API の 10,000 個までのシャード増加は、すべての AWS リージョンで利用可能です。