Amazon MSK の特徴

コンソールで数回クリックするだけで、Apache Kafka のデプロイのベストプラクティスに従うフルマネージド型の Apache Kafka クラスターを作成したり、カスタム設定を使用して独自のクラスターを作成したりすることができます。必要な設定を作成すると、Amazon MSK により Apache Kafka クラスターオペレーションと Apache ZooKeeper ノードが自動的にプロビジョニング、設定、管理されます。

Apache Kafka の実行、クラスタータスクの調整、クラスターを操作するリソースの状態の維持には、Apache ZooKeeper が必要です。Amazon MSK は、Apache ZooKeeper ノードを自動的に管理します。各 Amazon MSK クラスターには、Apache Kafka クラスター用の Apache ZooKeeper ノードが適切な数含まれています。追加料金はかかりません。

MSK Serverless は Amazon MSK のクラスタータイプであり、Apache Kafka クラスターを簡単に実行できます。コンピューティング容量とストレージ容量を管理する必要はありません。MSK Serverless は、Apache Kafka パーティションを管理しながらリソースを自動的にプロビジョニングおよびスケーリングするため、クラスターの適切なサイズ設定やスケーリングについて心配することなくデータをストリーミングできます。

すべてのクラスターは、複数のアベイラビリティーゾーン (デフォルトでは 3 つの AZ) でプロビジョニングされ、Amazon MSK のサービスレベルアグリーメントによってサポートされ、クラスターのインフラストラクチャと Apache Kafka ソフトウェアの問題を検出して対応する自動システムによってサポートされています。コンポーネントが故障しても、Amazon MSK が自動的に交換するため、アプリケーションのダウンタイムが発生しません。Apache ZooKeeper ノードの可用性は Amazon MSK によって管理されるため、ノードをお客様ご自身で起動、停止、直接アクセスする必要はありません。また、クラスターを最新の状態に保ってスムーズに実行するため、必要に応じてソフトウェアパッチを自動的にデプロイします。

MSK Replicator は Amazon MSK の機能であり、オープンソースツールのセットアップ、コードの記述、インフラストラクチャ管理の専門知識を必要とせず、数回のクリックのみで Amazon MSK クラスター間でデータを確実にレプリケートできます。MSK Replicator は、基盤となるリソースを自動的にプロビジョニングしてスケールするため、データをオンデマンドでレプリケートでき、実際に使用した分のみをお支払いいただきます。MSK Replicator を使用すると、可用性が高く耐障害性のあるマルチリージョンアプリケーションを構築でき、回復性を高めることができます。また、MSK Replicator を使用して、異なるリージョンで低レイテンシーのデータアクセスを提供したり、パートナーにデータを配信したりできます。

Apache Kafka クラスターは、Amazon MSK によって管理される Amazon 仮想プライベートクラウド (VPC) で実行されます。お客様の Amazon VPC 内の Kafka クライアントは、Amazon MSK が VPC にデプロイするクロスアカウントの Elastic Network Interface を介して、クラスターにプライベートにアクセスできます。Kafka クライアントが 1 つ以上の VPC または AWS アカウントに分散している場合でも、マルチ VPC プライベート接続機能を使用してクラスターにプライベートに接続できます。この機能により、PrivateLink ソリューションの自己管理によるオペレーションのオーバーヘッドが排除され、Amazon MSK クラスターのスケールに合わせてシームレスにスケールすることができるため、追加の設定を変更することなくクラスターへのプライベート接続を維持できます。マルチ VPC プライベート接続では、接続している VPC 間で IP を重複させることができるため、重複しない IP、他の VPC 接続ソリューションに関連する複雑なピアリングおよびルーティングテーブルを管理するという課題も解消されます。

Amazon MSK クラスターのクラスターポリシーを使用して、Amazon MSK クラスターへのプライベート接続を設定するためのクロスアカウントアクセス許可を持つ IAM プリンシパルを定義します。IAM クライアント認証と併用すると、クラスターポリシーを使用して、接続しているクライアントの Kafka データプレーンのアクセス許可を細かく定義することもできます。

IAM アクセスコントロールは、追加費用なしで提供するセキュリティオプションです。IAM ロールやユーザーポリシーを使用してアクセスを制御することで、クラスター認証と Apache Kafka API 承認を簡素化します。IAM アクセスコントロールを使用すると、Apache Kafka のクライアント認証と認可を制御するために 1 回限りのアクセス管理システムを構築して実行する必要がなくなります。クラスターはデフォルトで最小権限の許可を使用して保護されます。プロビジョンドクラスターの場合、Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) または Apache Kafka アクセスコントロールリスト (ACL) を使用した相互 Transport Layer Security (TLS) 認証を使用して、クライアントのアクセスを制御することもできます。

Amazon MSK では、特殊な設定やサードパーティー製ツールがなくても保管時にデータが暗号化されます。プロビジョンドクラスターの場合、保存中のデータはすべてデフォルトで AWS Key Management Service (KMS) キーを使用して、またはお客様ご自身のキーを使用して暗号化できます。また、ブローカー間およびクラスター上のクライアントとブローカー間の転送データを TLS を介して暗号化することもできます。サーバーレスクラスターの場合、保管中のデータはすべてデフォルトでサービスマネージドキーを使用して暗号化され、転送中のデータはすべてデフォルトで TLS を介して暗号化されます。

Amazon MSK は、Apache Kafka 2.6.0 以降のバージョンを実行している Amazon MSK クラスターのブローカーにインターネット経由で安全に接続するオプションを提供しています。パブリックアクセスを可能にすることで、プライベートな Amazon 仮想プライベートクラウド (VPC) の外部にいる許可されたクライアントは、特定の Amazon MSK クラスターとの間で暗号化されたデータをストリーミングでやり取りすることができます。

Amazon MSK クラスターのクラスターポリシーを使用して、Amazon MSK クラスターへのクロスアカウントプライベート接続を設定するためのアクセス許可を持つクロスアカウント IAM プリンシパルを定義します。IAM クライアント認証と併用すると、クラスターポリシーを使用して、接続しているクライアントの Kafka データプレーンのアクセス許可を細かく定義することもできます。

Amazon MSK の AWS 統合の幅と深さを提供しているプロバイダーは他にありません。これらの統合には以下のものが含まれます:

• Apache Kafka とサービスレベルの API アクセスコントロールのための AWS IAM
• フルマネージド型の Appache Flink アプリケーションを実行し、Apache Kafka 内のストリーミングデータを処理する Amazon Managed Service for Apache Flink
• Apache FlinkSQL を使用して、インタラクティブな Streaming SQL ジョブや長時間実行の SQL ジョブを実行する Amazon Managed Service for Apache Flink
• スキーマを一元的に管理および進化させる AWS Glue スキーマレジストリ
• AWS IoT Core による IoT イベントストリームの MSK への配信
• 変更データのキャプチャと分析向けの AWS Database Migration Service (AWS DMS)
• プライベートクライアント接続とネットワーク分離向けの Amazon Virtual Private Cloud (Amazon VPC)
• 保管時の暗号化向けの AWS Key Management Service (AWS KMS)
• 相互 TLS クライアント認証向けの AWS Certificate Manager Private Certificate Authority
• AWS Secrets Manager による SASL/SCRAM の秘密の安全な保存と管理
• Amazon MSK をコードで展開する AWS CloudFormation
• クラスター、ブローカー、トピック、コンシューマー、パーテーションレベルのメトリクス向けの Amazon CloudWatch
  

Amazon MSK は、ネイティブバージョンの Apache Kafka をデプロイしているため、Apache Kafka 向けに構築されたアプリケーションやツールはアプリケーションコードを変更することなく、すぐに Amazon MSK で動作します。

Amazon MSK は通常、Apache Kafka の新バージョンを公開後、7 日以内に提供しています。

プロビジョンドクラスターの Apache Kafka バージョンを数回クリックするだけでアップグレードできます。そのようにして、いつ Apache Kafka の新しいバージョンで提供されている機能やバグ修正を活用するか決められるようになります。Amazon MSK は、ベストプラクティスに従ったお客様のために、クライアントの I/O の可用性を維持するために、稼働中のクラスターへのバージョンアップグレードの展開を自動化します。サーバーレスクラスターの場合、Apache Kafka のバージョンは Amazon MSK によって自動的にアップグレードされます。

Amazon MSK は、1 日あたり 2.00 USD 以下で開始できます。お客様は通常、取り込み 1 GB あたり 0.05 USD から 0.07 USD を支払うことになりますが、これは他のマネージドプロバイダーの 1/13 のコストまで下がります。料金の詳細については、Amazon MSK の料金ページをご覧ください。

階層化ストレージを使えば、ストレージ容量のプロビジョニングや管理をすることなく、MSK に事実上無制限にデータを保存することができます。新規または既存のクラスターに対して、数回のクリックで階層化ストレージを有効にし、使用した分だけ支払うことができます。まずパフォーマンスを最適化したプライマリストレージ階層でデータを保存すると、長期保存のために自動で MSK が新しいローコスト階層にデータを配置します。この機能は、MSK が存在するすべての AWS リージョンでサポートされています。階層型ストレージの開始方法については、Amazon MSK デベロッパーガイドをご覧ください。

Apache Kafka ブローカーのサイズまたはファミリーを変更して、ダウンタイムなしで数分以内に Amazon MSK クラスターをスケーリングすることもできます。サイズまたはファミリーを変更することは、ワークロードの変化に合わせてクラスターのコンピューティング性能を柔軟に調整できるため、Amazon MSK クラスターを拡張する一般的な方法です。この方法は、Apache Kafka の可用性に影響を与える可能性のあるパーテーションの再割り当てを必要としないため、好ましい方法となり得ます。

Amazon MSK は、アプリケーションのスループットニーズに応じて、クラスターのコンピューティングリソースとストレージリソースを自動的にスケーリングします。

Amazon MSK は、Apache Kafka 用の人気オープンソースツールである Cruise Control と統合しており、お客様に代わってパーテーションの割り当てを自動的に管理します。サーバーレスクラスターの場合、Amazon MSK がパーティションの割り当てを自動的に管理します。

AWS マネジメントコンソールまたは AWS Command Line Interface (AWS CLI) を使用して、ストレージ要件の変化に合わせてブローカーごとにプロビジョニングされるストレージの量をシームレスにスケールアップできます。また、オートスケーリングポリシーを作成することで、増大するストリーミング要件に合わせて自動的にストレージを拡張することができます。

Amazon MSK は、デフォルトで Apache Kafka のベストプラクティスクラスター設定をデプロイします。プロビジョンドクラスターの場合、あらゆる動的設定およびトピックレベルの設定をサポートしながら、30 種を超える異なるクラスター設定を調整することができます。詳細については、ドキュメントの Custom MSK Configurations を参照してください。

Amazon CloudWatch を使用して、重要なメトリクスを視覚化してモニタリングし、ストリーミングアプリケーションのパフォーマンスを理解して維持することができます。

Open Monitoring with Prometheus では、Datadog、Lenses、New Relic、Sumo Logic、または Prometheus サーバーなどのソリューションを使用して Amazon MSK をモニタリングし、既存のモニタリングダッシュボードを簡単に Amazon MSK に移行することができます。詳しくは、ドキュメントの Open Monitoring with Prometheus をご覧ください。