Amazon MSK が、Express ブローカーで最大 5 倍のパーティションのサポートを開始
Amazon Managed Streaming for Apache Kafka (Amazon MSK) では、Express ブローカー 1 台あたり最大 5 倍のパーティションがサポートされるようになり、パーティション制限のあるワークロードのコストパフォーマンスが最大 50% 向上しました。Express ブローカーは Amazon MSK のブローカータイプであり、標準の Apache Kafka ブローカーと比較して、最大 3 倍のスループット、最大 20 倍の高速スケーリング、最大 90% の高速な復旧を実現します。今回のリリースにより、パーティション制限のあるワークロードをより少ないブローカーでホストできるようになります。例えば、m7g.16xlarge インスタンスでは、これまでブローカー 1 台あたり最大 4,000 個のパーティションがサポートされていましたが、現在ではブローカー 1 台あたり最大 20,000 個のパーティションがサポートされるようになりました。クラスターの耐障害性をさらに向上させるため、Amazon MSK では Express Broker ごとに作成できるパーティションの最大数も制限されるようになりました。引き上げられた上限値においても、これらのクォータによってパーティション数が安全なしきい値を超えないようにすることで、クラスターの安定性を維持できます。
パーティションサポートの強化は、多数のトピックを必要とするストリーミングアプリケーション、小さなトピックが多くあるマイクロサービスアーキテクチャ、および複数のデータソースをサポートするデータインジェストパイプラインなどにおいて特に役立ちます。これらの改善された機能は、現在、Amazon MSK Express Brokers が提供されているすべての AWS リージョンで、追加料金なしでご利用いただけます。さまざまなインスタンスタイプのパーティション制限と、Apache Kafka ワークロードをスケーリングするためのベストプラクティスの詳細については、ドキュメントを参照してください。