Amazon MSK は、ストリーミングデータの処理に Apache Kafka を使用するアプリケーションの構築と実行を容易に行えるようにする、完全マネージド型のサービスです。Apache Kafka クラスターの管理は、複雑で長期間にわたることがあります。Amazon MSK では、Apache Kafka のインフラストラクチャ管理に関する専門知識がなくても、Apache Kafka で本稼働アプリケーションを簡単に構築および実行できるため、インフラストラクチャの管理に費やす時間が減り、アプリケーションの構築に多くの時間を費やせるようになります。

完全互換

ネイティブの Apache Kafka API およびツールのサポート

Amazon MSK は、ネイティブの Apache Kafka API と、それらの API に対応して構築された既存のオープンソースツールをサポートしています。これにより、アプリケーションコードを変更しなくても、既存の Apache Kafka アプリケーションが Amazon MSK クラスターを操作できるようになります。引き続き、Apache Kafka の API とオープンソースのエコシステムを使用して、データレイクへの入力、データベースとの間での変更のストリーミング、機械学習および分析アプリケーションの強化を行うことができます。

サーバー管理が不要

完全マネージド型

Amazon MSK コンソールで数回クリックするだけで、Apache Kafka のデプロイベストプラクティスに従う完全マネージド型の Apache Kafka クラスターを作成したり、独自のカスタム設定を使用して独自のクラスターを作成したりすることができます。必要な設定を作成すると、Amazon MSK により Apache Kafka クラスターと Apache ZooKeeper ノードの運用が自動的にプロビジョニング、設定、管理されます。

フルマネージド型 Apache Kafka アップグレード

Amazon MSK クラスターの Apache Kafka バージョンを数回クリックするだけでアップグレードできます。そのようにして、Apache Kafka の新しいバージョンで提供されている機能やバグ修正を活用できるようになります。Amazon MSK では、Apache Kafka ブローカーのローリング更新を使用してフルマネージド型のアップグレードエクスペリエンスを提供しています。お客様は、それにより高可用性のベストプラクティスに従って、インプレースアップグレードすることができます。

Apache ZooKeeper が付属

Apache Kafka の実行、クラスタータスクの調整、クラスターを操作するリソースの状態の維持には、Apache ZooKeeper が必要です。Amazon MSK は、Apache ZooKeeper ノードを自動的に管理します。 各 Amazon MSK クラスターには、Apache Kafka クラスター用の Apache ZooKeeper ノードが適切な数含まれています。追加料金はかかりません。

高い可用性

自動的な復旧とパッチ適用

Amazon MSK は、クラスターの状態を常時監視し、アプリケーションのダウンタイムなしで異常なブローカーを自動的に交換します。Apache ZooKeeper ノードの可用性は Amazon MSK によって管理されるため、ノードをお客様ご自身で起動、停止、直接アクセスする必要はありません。Amazon MSK は、クラスターを最新の状態に保ってスムーズに実行するため、必要に応じてソフトウェアパッチもデプロイします。

データレプリケーション

Amazon MSK では、可用性を高めるためにマルチ AZ レプリケーションを使用しています。データのレプリケーションに追加料金はかかりません。 

高い安全性

プライベート接続

Apache Kafka クラスターは、Amazon MSK によって管理される Amazon VPC で実行されます。クラスターは、指定した設定に基づいてお客様ご自身の Amazon VPC、サブネット、セキュリティグループで利用できます。お客様は、ネットワーク設定を完全に管理でき、VPC の IP アドレスは Elastic Network Interface (ENI) を通じて Amazon MSK リソースにアタッチされます。

暗号化とセキュリティ

Amazon MSK では、特殊な設定やサードパーティー製ツールがなくてもデータが保管時に暗号化されます。すべてのデータは、デフォルトでは AWS Key Management Service (KMS) カスタマーマスターキー (CMK) を使用して、またはお客様ご自身の CMK を使用して保管時に暗号化できます。

Amazon MSK は、ブローカー間およびクラスター上のクライアントとブローカー間の転送データも TLS を介して暗号化します。Amazon MSK では TLS ベースの証明書認証と Apache Kafka アクセスコントロールリスト (ACL) もサポートしており、クラスター内のプロデューサーとコンシューマーを認証および認可します。

スケーラブル

ブローカーのスケーリング

Amazon MSK クラスター内で少ないブローカーから始めて、AWS マネジメントコンソールまたは AWS CLI を使用して、1 クラスターあたり最大 100 個のブローカーにスケールアップできます。1 クラスターあたり 15 個を超えるブローカーが必要な場合、または、1 アカウントあたり 30 個を超えるブローカーが必要な場合は、上限緩和申請をご提出ください。

ストレージのスケーリング

AWS マネジメントコンソールまたは AWS CLI を使用して、ストレージ要件の変化に合わせてブローカーごとにプロビジョニングされるストレージの量をシームレスにスケールアップできます。

低コスト

Amazon MSK は、1 日あたり 2.50 USD 以下で開始できます。お客様には、通常全部込みで、取り込みデータ 1 GB あたり 0.05 USD~0.07 USD の料金が発生します。現在の価格を確認するには Amazon MSK 料金表をご覧いただき、Amazon MSK クラスターを適切にサイジングする方法については Amazon MSK のベストプラクティスに関するページをご覧ください。

深く統合

Amazon MSK では、すぐに使用できる AWS とのネイティブな統合を提供することで、AWS のお客様がエンドツーエンドのソリューションを簡単に構築できるようにしています。例えば、Amazon MSK 内のデータでフルマネージド型の Apache Flink アプリケーションを実行したり、AWS KMS を使用して保管時のデータを暗号化したりできます。また、AWS Certificate Manager プライベート CA を使用して Amazon MSK に対してクライアントを認証することや、AWS CloudFormation でコードを使用して Amazon MSK をデプロイすることもできます。Amazon VPC 内のクライアントを Amazon MSK にプライベートに接続したり、AWS Identity and Access Management (IAM) を利用してきめ細かいサービスレベルの API 制御を行ったりすることもできます。

設定可能

Amazon MSK では、デフォルトで Apache Kafka 向けのベストプラクティスクラスター設定をデプロイします。お客様は、30 個を超えるさまざまなクラスター設定を調整しながら、すべての動的な設定やトピックレベルの設定をサポートできます。詳細については、ドキュメントの「Custom MSK Configurations」を参照してください。

Amazon MSK の利用を開始する

コストの計算
コストの計算

Amazon MSK 料金表ページを参照してください。

入門ガイドを見る
入門ガイドを見る

Amazon MSK で Apache Kafka クラスターをセットアップする方法については、このステップバイステップガイドを参照してください。

Apache Kafka クラスターの実行
Apache Kafka クラスターの実行

Amazon MSK で Apache Kafka クラスターを実行し始めます。Amazon MSK コンソールにログインします。