全般

Q: Amazon MSK とは何ですか?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka のインフラストラクチャと運用を管理する AWS ストリーミングデータであり、デベロッパーと DevOps 管理者が Apache Kafka 運用のエキスパートとならなくても AWS で Apache Kafka アプリケーションおよび Kafka Connect コネクタを簡単に実行できるようにします。Amazon MSK では、Apache Kafka クラスターが運用および維持、スケーリングされ、エンタープライズプラスのセキュリティ機能をすぐに使うことができます。また、ストリーミングデータアプリケーションの開発をすばやく行うための AWS 統合が組み込まれています。最初に、既存の Apache Kafka ワークロードおよび Kafka Connect コネクタを Amazon MSK に移動できます。または、数回クリックするだけで、新しいワークロードを一から構築できます。クラスター内のトラフィックにデータ転送料金はかからず、契約や前払い料金は必要ありません。お客様は、使用したリソースに対してのみ料金を支払います。
 
Q. Apache Kafka とは何ですか?
Apache Kafka は、リアルタイムで動作するストリーミングデータパイプラインやアプリケーションを構築するための、高いパフォーマンス、耐障害性、スケーラビリティを備えたオープンソースプラットフォームです。Apache Kafka は、データストアにストリーミングデータを生成するアプリケーション (プロデューサー) と、データストアからストリーミングデータを使用するアプリケーション (コンシューマー) を切り離すストリーミングデータストアです。組織では、ストリーミングデータを継続的に分析して対応するアプリケーションのデータソースとして Apache Kafka を利用できます。 Apache Kafka の詳細はこちら
 
Q:Kafka Connect とは?
Apache Kafka のオープンソースコンポーネントである Kafka Connect は、データベース、key-value ストア、検索インデックス、ファイルシステムなどの外部システムと Apache Kafka を接続するためのフレームワークです。
 
Q. ストリーミングデータとは何ですか?
ストリーミングデータは、数千ものマシン、デバイス、ウェブサイト、アプリケーションによって生成された小さいレコード (レコードは通常数キロバイトです) の連続したストリームです。ストリーミングデータには、モバイルアプリケーションやウェブアプリケーションを使用して顧客が生成したログファイル、E コマースの購買情報、プレイヤーによるゲーム内のアクティビティ、ソーシャルネットワークの情報、取引所の財務情報、地理空間サービスの情報、セキュリティログ、メトリクス、接続されているデバイスのテレメトリ、データセンターのインストルメンテーション情報など、様々なデータが含まれます。Amazon MSK や Amazon Kinesis Data Streams などのストリーミングデータサービスを利用すると、ストリーミングデータの継続的な収集、処理、配信が容易に行えます。 ストリーミングデータの詳細はこちら
 
Q. Apache Kafka の主な機能は何ですか?
Apache Kafka には、3 つの主な機能があります。
  • Apache Kafka は、耐障害性の方法でストリーミングデータを保存し、プロデューサーとコンシューマーの間にバッファを提供します。イベントを連続する一連のレコードとして保存し、レコードが生成された順序を保持します。
  • Apache Kafka では、多くのデータプロデューサー – 例: ウェブサイト、IoT デバイス、Amazon Elastic Compute Cloud (Amazon EC2) インスタンスなど – がストリーミングデータを連続的に発行し、Apache Kafka トピックを使用して分類できます。複数のデータコンシューマー (機械学習アプリケーション、AWS Lambda 関数、マイクロサービスなど) がこれらのトピックを独自のレートで読み込みます。これは、メッセージキューやエンタープライズメッセージングシステムと似ています。
  • データコンシューマーは、Apache Kafka トピックからのデータを先入れ先出しベースで処理し、データが生成された順序を保持します。

Q. Apache Kafka の主な概念は何ですか?
Apache Kafka は、レコードをトピックに保存します。データプロデューサーは、レコードをトピックに書き込み、コンシューマーはレコードをトピックから読み込みます。Apache Kafka 内の各レコードは、キー、値、タイムスタンプ、そして時にはヘッダーメタデータで構成されています。Apache Kafka は、ブローカーと呼ばれる複数のノード間でトピックをパーティション化し、レプリケートします。Apache Kafka は、1 つ以上のブローカーでクラスターとして実行され、ブローカーは可用性の高いクラスターを作成するために複数の AWS アベイラビリティーゾーンに配置できます。Apache Kafka は、クラスタータスクを調整するために Apache ZooKeeper に依存しており、Apache Kafka クラスターを操作するリソースの状態を維持できます。
 
Q. どのような場合に Apache Kafka を使用すればよいですか?
Apache Kafka は、ストリーミングデータを変換、配信、反応するリアルタイムのアプリケーションをサポートし、複数のシステムやアプリケーション間でデータを確実に送信するリアルタイムのストリーミングデータパイプラインを構築するために使用することができます。
 
Q. Amazon MSK は何をしますか?
Amazon MSK では、高可用性とセキュリティを備えた AWS でのオープンソース版 Apache Kafka を簡単に開始し、実行することができます。また、Amazon MSK は、Apache Kafka クラスターを運用するための運用オーバーヘッドなしに、AWS のサービスとの統合を実現します。Amazon MSK では、お客様が Apache Kafka のオープンソースバージョンを使用できますが、Apache Kafka クラスターのセットアップ、プロビジョン、AWS 統合、継続的なメンテナンスはサービスが行います。

コンソールで数回クリックするだけで、Amazon MSK クラスターを作成できます。そこから Amazon MSK は異常なブローカーを置き換える、データを自動的にレプリケートして可用性を高める、Apache ZooKeeper ノードを管理する、必要に応じてハードウェアパッチを自動的にデプロイする、AWS のサービスとの統合を管理する、コンソールから重要なメトリクスを参照できるようにする、といった処理を行います。また、Apache Kafka のバージョンアップグレードがサポートされるため、Apache Kafka のオープンソースバージョンに加えられる改善点を活用できます。
 
Q. Amazon MSK がサポートする Apache Kafka のバージョンを教えてください。
サポート対象の Kafka のバージョンについては、 Amazon MSK ドキュメントを参照してください。
 
Q. Apache Kafka API は Amazon MSK と互換性がありますか?
はい、すべてのデータプレーンと管理 API が Amazon MSK によってネイティブにサポートされます。
 
Q. Apache Kafka AdminClient は Amazon MSK によりサポートされていますか?
はい。
 
Q. Amazon MSK ではスキーマレジストリの使用をサポートしていますか?
はい。Apache Kafka のクライアントから AWS Glue スキーマレジストリを使用可能です。スキーマレジストリは、AWS Glue のサーバーレスな機能で、追加料金なしでご利用いただます。詳細をご確認の上で使用を開始していただくには、スキーマレジストリの ユーザードキュメントをご覧ください。

MSK Serverless

Q: MSK Serverless とは?
MSK Serverless は Amazon MSK のクラスタータイプであり、Apache Kafka クラスターを簡単に実行できます。コンピューティング容量とストレージ容量を管理する必要はありません。MSK Serverless を使用すれば、クラスターをプロビジョン、構成、または最適化することなくアプリケーションを実行でき、ストリーミングおよび保持するデータ量に対して料金をお支払いいただきます。

Q: MSK Serverless はクラスター内のパーティションで自動的にバランスを取りますか?
はい。MSK Serverless は、パーティションをフルで管理します。これには、パーティションをモニタリングして移動し、クラスター全体で均等にロードすることも含まれます。

Q: MSK Serverless はどのくらいのデータスループット容量をサポートしていますか?
MSK Serverless は、クラスターごとに最大 200 MBps の書き込み容量と 400 MBps の読み取り容量を提供しています。さらに、クラスター内のすべてのパーティションで十分なスループットの可用性を確保するために、MSK Serverless はパーティションごとに最大 5 MBps のインスタント書き込み容量と 10 MBps のインスタント読み取り容量を割り当てています。

Q: MSK Serverless はどのようなセキュリティ機能を提供しますか?
MSK Serverless は、AWS Key Management Service (KMS) を通じて発行されたサービスマネージドキーを使用して、転送中のトラフィックすべてと保管中のデータすべてを暗号化します。クライアントは、トラフィックを公開インターネットに公開することなく、AWS PrivateLink を使用するプライベート接続経由で MSK Serverless に接続します。さらに、MSK Serverless は IAM アクセスコントロールを提供します。これにより、トピックなどの Apache Kafka リソースに対するクライアント認証とクライアント承認を管理できます。

Q: プロデューサとコンシューマは、どうやって MSK Serverless クラスターにアクセスできますか?
MSK Serverless クラスターを作成するときは、クラスターのクライアントをホストする 1 つ以上の Amazon Virtual Private Cloud (VPC) サブネットを提供します。これらの VPC のいずれかでホストされているクライアントは、ブローカーのブートストラップ文字列を使用して MSK Serverless クラスターに接続できます。

Q: MSK Serverless はどのリージョンで利用できますか?
最新リージョンの可用性については、MSK の料金ページを参照してください。

Q: MSK Serverless はどの認証タイプに対応していますか?
MSK Serverless は現在、クライアントの認証と承認のために AWS IAM をサポートしています。クライアントは認証のために AWS IAM ロールを引き受けることができ、関連付けられた IAM ポリシーを使用してアクセスコントロールを適用できます。

Q: MSK Serverless クラスターでデータを処理するにはどうすればよいですか?
Apache Kafka 互換ツールを使用して、MSK Serverless クラスタートピックのデータを処理できます。MSK Serverless は、ステートフルストリーム処理用の Apache Flink およびイベント処理用の AWS Lambda 向けの Amazon Kinesis Data Analytics と統合されています。Kafka Connect シンクコネクタを使用して、任意の送信先にデータを送信することもできます。(近日中に MSK Serverless に対する MSK Connect のサポートが開始されます。)

Q: MSK Serverless はどのようにして高可用性を確保しますか?
パーティションを作成すると、MSK Serverless はそのレプリカを 2 つ作成し、それらを異なるアベイラビリティーゾーンに配置します。さらに、MSK Serverless は、障害が発生したバックエンドリソースを自動的に検出して回復し、高可用性を維持します。

データの生成と使用

Q: Apache Kafka API を使用して Apache Kafka からデータを出し入れすることはできますか?
はい、Amazon MSK はネイティブの Apache Kafka プロデューサーおよびコンシューマー API をサポートしています。クライアントが Amazon MSK 内のクラスターを操作し始めたときに、アプリケーションコードを変更する必要はありません。

Q. Apache Kafka Connect、Apache Kafka Streams、または Apache Kafka の他のエコシステムコンポーネントを Amazon MSK で使用することはできますか?
はい、Apache Kafka プロデューサーおよびコンシューマー API を利用するあらゆるコンポーネント、および Apache Kafka Admin Client を使用できます。.jar ファイルを Apache Kafka クラスターにアップロードするツールは、現在のところ Amazon MSK と互換性がありません (Confluent Control Center、Confluent Auto Data Balancer、Uber uReplicator など)。

Amazon MSK への移行

Q: 既存の Apache Kafka クラスター内のデータを Amazon MSK に移行できますか?
はい、サードパーティーのツールや、Apache Kafka でサポートされている MirrorMaker のようなオープンソースのツールを使って、クラスターから Amazon MSK クラスターにデータをレプリケートすることができます。ここでは、マイグレーションを完成させるための Amazon MSK のマイグレーションラボをご紹介します。

バージョンアップグレード

Q: Apache Kafka のバージョンアップグレードはサポートされていますか?
はい、Amazon MSK では、プロビジョンドクラスターのフルマネージド型の Apache Kafka のインプレースバージョンアップグレードをサポートしています。お使いの Apache Kafka バージョンのアップグレードや高可用性のベストプラクティスの詳細については、バージョンアップグレードのドキュメントを参照してください。

クラスター

Q: 最初の Amazon MSK クラスターを作成するにはどうすればよいですか?
AWS マネジメントコンソールまたは AWS SDK を使用し、数回のクリックで最初のクラスターを作成できます。まず、 Amazon MSK コンソールに移動し、Amazon MSK クラスターを作成する AWS リージョンを選択します。クラスターの名前、クラスターの実行に使用する Virtual Private Cloud (VPC)、および各アベイラビリティーゾーンのサブネットを選択します。プロビジョンされたクラスターを作成する場合は、ブローカーインスタンスタイプ、アベイラビリティーゾーンごとのブローカーの数、およびブローカーごとのストレージを選択することもできます。
 
Q. クラスター内にはどのようなリソースがありますか?
プロビジョンされたクラスターには、ブローカーインスタンス、プロビジョンされたストレージ、および抽象化された Apache ZooKeeper ノードが含まれています。Serverless クラスターはそれ自体がリソースであり、基盤となるすべてのリソースを抽象化します。
 
Q. Amazon MSK クラスターではどのようなタイプのブローカーインスタンスをプロビジョンできますか?
プロビジョンされたクラスターの場合、EC2 T3.small または EC2 M5 インスタンスファミリー内のインスタンスを選択できます。サーバーレスクラスターの場合、ブローカーは完全に抽象化されます。

Q. Amazon MSK はリザーブドインスタンスの料金に対して、割引を行っていますか?
現在はしていません。
 
Q. ブローカーブートボリュームのプロビジョニングと支払いは必要ですか?
いいえ、プロビジョンする各ブローカーには、Amazon MSK サービスによって管理されるブートボリュームストレージが含まれています。
 
Q. Apache Kafka クラスターを作成するとき、基になるリソース (Amazon EC2 インスタンスなど) は EC2 コンソールに表示されますか?
Elastic Network Interface (ENI) などの一部のリソースは、Amazon EC2 アカウントに表示されます。他の Amazon MSK リソースは、Amazon MSK サービスによって管理されているため EC2 アカウントには表示されません。
 
Q. Amazon MSK クラスター内では何をプロビジョンする必要がありますか?
プロビジョンドクラスターでは、作成したクラスターごとにブローカーインスタンスとブローカーストレージをプロビジョンする必要があります。オプションで、ストレージボリュームのストレージスループットをプロビジョンできます。これを使用すれば、追加のブローカーをプロビジョンしなくても、I/O をシームレスにスケールできます。Apache ZooKeeper ノードはプロビジョンする必要はありません。これらのリソースは、作成した各クラスターに追加料金なしで含められるためです。サーバーレスクラスターの場合は、リソースとしてクラスターを作成するだけで完了です。
 
Q. クラスターのデフォルトのブローカー設定は何ですか?
特に指定がない限り、Amazon MSK は Apache Kafka のオープンソースバージョンにより指定されたのと同じデフォルトを使用します。両方のクラスタータイプのデフォルト設定については、 こちらに記載されています。
Q. AZ 間で不均等になるようにブローカーをプロビジョンできますか (us-east-1a では 3、us-east-1b では 2、us-east-1c では 1 など)?
いいえ、Amazon MSK では、クラスター内の AZ 間でブローカーの数量を均等にするというベストプラクティスが適用されます。

Q. データレプリケーションは Amazon MSK でどのように機能しますか?
Amazon MSK は、Apache Kafka のリーダー - フォロワーレプリケーションを使用して、ブローカー間でデータをレプリケートします。Amazon MSKを使用すると、マルチ AZ レプリケーションでクラスターを簡単にデプロイでき、トピック別にカスタムレプリケーション戦略を使用することもできます。デフォルトでは、各レプリケーションオプションで、指定したレプリケーション戦略を使用してリーダーおよびフォロワーブローカーが展開されて分離されます。たとえば、AZ クラスターごとにブローカーが 1 つの 3 AZ ブローカーレプリケーション戦略を選択した場合、Amazon MSK は 3 つのブローカーのクラスター (リージョン内の 3 つの AZ で 1 つのブローカー) を作成し、デフォルトでは (トピックレプリケーション係数の上書きを選択しない限り) トピックレプリケーション係数も 3 になります。

Q. デフォルトのブローカー設定の変更、またはクラスター設定を Amazon MSK にアップロードすることはできますか?
はい、Amazon MSK ではカスタム設定を作成して、新しいクラスターにも既存のクラスターにも適用することができます。カスタム構成の詳細については、ドキュメント内の設定を参照してください。

Q. どのような設定プロパティをカスタマイズできますか?
カスタマイズ可能な構成プロパティーはここに記載されています。

Q. 新しいトピックのデフォルト設定は何ですか?
Amazon MSK は、こちらで特に明記されていない限り Apache Kafka のデフォルト設定を使用します。

トピック

Q: トピックはどのように作成しますか?
Apache Kafka クラスターが作成されたら、Apache Kafka API を使用してトピックを作成できます。すべてのトピックおよびパーティションのアクションと設定が Apache Kafka API を使用して実行されます。以下のコマンドは、Apache Kafka API を使用してトピックを作成する例であり、クラスターで利用可能な構成の詳細を示しています。

bin/kafka-topics.sh --create —bootstrap-server <BootstrapBrokerString> --replication-factor 3 --partitions 1 --topic TopicName

ネットワーク

Q: Amazon MSK は Amazon VPC で実行されますか?
はい、Amazon MSK は常に Amazon MSK サービスにより管理される Amazon VPC 内で実行されます。Amazon MSK リソースは、クラスターのセットアップ時に選択したお客様自身の Amazon VPC、サブネット、セキュリティグループで利用可能になります。VPC の IP アドレスは、Elastic Network Interface (ENI) を通じて Amazon MSK リソースにアタッチされ、すべてのネットワークトラフィックが AWS ネットワーク内に留まり、デフォルトではインターネットにアクセスできなくなります。

Q. Amazon MSK クラスター内のブローカーはどのようにして VPC 内のクライアントにアクセスできるようになりますか?
クラスター内のブローカーは、アカウントに表示される ENI を通じて VPC 内のクライアントにアクセスできるようになります。ENI のセキュリティグループは、ブローカーで許可される受信および送信トラフィックのソースとタイプを指示します。

Q: 公開インターネット経由でクラスターに接続することは可能ですか?
はい、Amazon MSK は、Apache Kafka 2.6.0 以降のバージョンを実行している Amazon MSK クラスターのブローカーにインターネット経由で安全に接続するオプションを提供しています。パブリックアクセスを可能にすることで、プライベートな Amazon Virtual Private Cloud (VPC) の外部にいる許可されたクライアントは、特定の Amazon MSK クラスターとの間で暗号化されたデータをストリーミングでやり取りすることができます。MSK クラスターのパブリックアクセスは、クラスターの作成後に追加費用なしで有効にできますが、クラスターの出入りには標準的な AWS のデータ転送コストがかかります。パブリックアクセスを有効にすることについての詳細は、パブリックアクセスのドキュメントを参照してください。

Q. クライアントと Amazon MSK クラスター間の接続はプライベートですか?
デフォルトでは、Amazon MSK クラスターからデータを生成して使用するには、VPC および Amazon MSK クラスター間でプライベート接続を使用する必要があります。ただし、Amazon MSK クラスターのパブリックアクセスを有効にして、パブリックな bootstrap-broker 文字列を使用して MSK クラスターに接続する場合、その接続は、認証、認可、および暗号化されているものの、もはやプライベートとはみなされません。クラスターのセキュリティグループに、信頼される IP アドレスからのパブリックアクセスを許可するインバウンド TCP ルールを設定し、パブリックアクセスを有効にした場合は、これらのルールをできるだけ制限することをお勧めします。

VPC への接続

Q.VPC 外部の Amazon MSK クラスターにはどのように接続しますか?
VPC の外部で Amazon MSK クラスターに接続する方法はいくつかあります。最も簡単な方法は、Apache Kafka 2.6.0 以降のバージョンを実行している MSK クラスターのブローカーへのインターネット経由の公開接続を有効にすることです。セキュリティ上の理由から、MSK クラスターの作成時にパブリックアクセスを有効にすることはできません。ただし、既存のクラスターを更新して公的にアクセス可能にすることができます。また、新しいクラスターを作成してから、そのクラスターを更新して公的にアクセス可能にすることもできます。パブリックアクセスを有効にすることについての詳細は、パブリックアクセスのドキュメントを参照してください。AWS ネットワーク内から MSK クラスターに接続したいが、クラスターの Amazon VPC の外にある場合、VPC ピアリング、AWS Direct Connect、AWS Transit Gateway、VPN または REST Proxy を使用できます。これらのオプションの設定についての詳細は、Access from within AWSドキュメントを参照してください。

暗号化

Q: Amazon MSK クラスターでデータを暗号化することはできますか?
はい、Amazon MSK は Amazon Elastic Block Store (Amazon EBS) サーバー側の暗号化AWS Key Management Service (AWS KMS) キーを使用して、ストレージボリュームを暗号化できます。

Q: Amazon MSK クラスター内のブローカー間で転送中のデータは暗号化されていますか?
はい、デフォルトでは、新しいクラスタはブローカー間通信用の TLS を介した転送データの暗号化が有効になっています。プロビジョンされたクラスターの場合、クラスターの作成時に転送データの暗号化の使用をオプトアウトできます。

Q: Apache Kafka クライアントと Amazon MSK サービス間で転送データは暗号化されますか?
はい。デフォルトでは、転送中の暗号化は、CLI または AWS マネジメントコンソールから作成されたクラスターに対してのみ TLS に設定されます。クライアントが TLS 暗号化を使用してクラスターと通信するには、追加設定が必要です。プロビジョンドクラスターでは、デフォルトの暗号化設定は、TLS/プレーンテキストまたはプレーンテキストの設定を選択して変更できます。MSK 暗号化について続きを読む。

Q: 転送データは、Amazon MSK クラスター内のブローカーと Apache ZooKeeper ノードの間を移動するとき暗号化されますか?
はい、ApacheKafka バージョン 2.5.1 以降を実行している Amazon MSK クラスターは、Kafka ブローカーノードと ZooKeeper ノード間の TLS 転送中の暗号化をサポートしています。

アクセス管理

Q. クラスタ認証とApache Kafka API の認可を制御するにはどうすればよいですか?
サーバーレスクラスターの場合、認証と認可の両方に IAM アクセスコントロールを使用できます。プロビジョンされたクラスターの場合、3 つのオプションがあります。1) AuthN/Z 共に AWS Identity and Access Management (IAM) アクセスコントロール (推奨)、2) AuthN に TLS 証明書認証 (CA)、AuthZ にアクセスコントロールリスト、3) AuthN に SASL/SCRAM、AuthZ にアクセスコントロールリスト。Amazon MSK は IAM Access Control の使用を推奨します。最も簡単に使用でき、デフォルトで最小特権のアクセスになるため、最も安全なオプションです。

Q. Amazon MSK では認可はどのように機能しますか?
IAM アクセスコントロールを使用している場合、Amazon MSK はあなたが書いたポリシーと独自のオーソライザーを使用してアクションを認可します。TSL 証明書認証や SASL/SCRAM を使用している場合、Apache Kafka は認可にアクセスコントロールリスト (ACL) を使用します。ACL を有効にするには、TLS 証明書と SASL/SCRAM のいずれかを使用してクライアント認証を有効にする必要があります。

Q. クライアントを同時に認証および認可するにはどうすればよいですか?
IAM Access Control を使用している場合、Amazon MSK が追加の設定なしに認証と認可を行います。TLS 認証を使用している場合、クライアント TLS 証明書の Dname を ACL のプリンシパルとして使用して、クライアントのリクエストを認可できます。SASL/SCRAM を使用している場合、ユーザー名を ACL のプリンシパルとして使用して、クライアントのリクエストを認可できます。

Q. どのようにしてサービス API アクションをコントロールするのですか?
AWS Identity and Access Management (IAM) を使用してサービス API アクションをコントロールすることができます。

Q. 既存のクラスターに対して、IAM Access Control を有効にすることはできますか?
はい、AWS コンソールから、または UpdateSecurity API を使用して、既存のクラスターの IAM アクセスコントロールを有効にできます。

Q. IAM Access Control は、Amazon MSK 以外でも使用できますか?
いいえ、IAM Access Control は、Amazon MSK クラスターのみで使用できます。

モニタリング、メトリクス、ログ記録、およびタグ付け

Q: クラスターまたはトピックのパフォーマンスをモニタリングするにはどうすればよいですか?
Amazon MSK コンソール、Amazon CloudWatch コンソール、またはオープンソースのモニタリングソリューションである Open Monitoring with Prometheus を使用した JMX とホストメトリクスを介して、クラスターのパフォーマンスをモニタリングすることができます。

Q. CloudWatch のさまざまなモニタリングレベルのコストはいくらですか?
Amazon CloudWatch を使用してクラスターをモニタリンスするコストは、Apache Kafka クラスターのモニタリングレベルとサイズによります。Amazon CloudWatch は、メトリクスごとに毎月課金され、無料利用枠が含まれます。詳細については、 Amazon CloudWatch 料金を参照してください。各モニタリングレベルで公開されるメトリクスの数の詳細については、 Amazon MSK モニタリングドキュメントを参照してください。

Q. Prometheus を使用した Open Monitoring と互換性のあるモニタリングツールはどれですか?
Prometheus エクスポータから読み取るように設計されたツール、例えば、 DatadogLensesNew RelicSumo Logic、Prometheus サーバーなどは Open Monitoring と互換性があります。Open Monitoring の詳細については、 Amazon MSK Open Monitoring ドキュメントを参照してください。

Q. クライアントの状態とパフォーマンスをモニタリングするにはどうすればよいですか?
使用している Apache Kafka バージョンによりサポートされているクライアント側のモニタリングを使用できます。

Q. Amazon MSK リソースにタグを付けることはできますか?
はい、AWS Command Line Interface (AWS CLI) またはコンソールから Amazon MSK クラスターにタグを付けることができます。

Q. コンシューマーラグをモニタリングするにはどうすれば良いですか?
トピックレベルのコンシューマーラグのメトリクスは、メトリクスのデフォルトセットの中に用意されています。このメトリクスは、Amazon MSK から Amazon CloudWatch に対し公開されており、すべてのクラスターで利用できます。これらのメトリクスの取得には、特別なセットアップは必要ありません。プロビジョンされたクラスターの場合、パーティションレベルのコンシューマラグメトリクス (パーティションディメンション) を取得することもできます。これを行うには、クラスターで拡張モニタリング (PER_PARTITION_PER_TOPIC) を有効にしてください。別の方法として、クラスターで Open Monitoring を有効化し、Prometheus サーバーを使用することもできます。この場合は、クラスターのブローカーから、パーティションレベルのメトリクスをキャプチャリングできます。カスタマーラグのメトリクスは、他の Kafka メトリクスと同様に、ポート 11001 から取得します。

Q: コンシューマーラグのメトリクスを Amazon CloudWatch に公開する際の料金はいくらかかりますか?
トピックレベルのメトリクスであれば、Amazon MSK メトリクスのデフォルトセットに含まれているので、無料でご利用いただけます。パーティションレベルのメトリクスにはは、Amazon CloudWatch の料金が適用されます。

Q: Apache Kafka ブローカーログにアクセスする方法を教えてください。
プロビジョンされたクラスターのブローカーログ配信を有効にできます。ブローカーログを Amazon CloudWatch Logs、Amazon Simple Storage Service (S3)、Amazon Kinesis Data Firehose に配信できます。Kinesis Data Firehose は、他の送信先の間で Amazon OpenSearch Service をサポートしています。この機能を有効にする方法については、Amazon MSK Logging ドキュメントを参照してください。料金の詳細については、 CloudWatch Logs および Kinesis Data Firehose の料金ページを、参照してください。

Q: ブローカーログのログレベルは何ですか?
Amazon MSK では、プロビジョンドクラスター内のすべてのブローカーに対し、INFO レベルのログが提供されます。

Q. Apache ZooKeeper ログにアクセスする方法を教えてください。
サポートチケット経由で Apache ZooKeeper ログをリクエストできます。

Q. トピックの作成など、Apache Kafka のリソース API の使用状況を記録することはできますか?
はい、IAM Access Control を使用している場合、Apache Kafka リソース API の使用は AWS CloudTrail に記録されます。

Apache ZooKeeper

Q: Apache ZooKeeper とは何ですか?
https://zookeeper.apache.org による説明: 「Apache ZooKeeper は、設定情報の維持、名前付け、分散化された同期の提供、およびグループサービスを提供する一元化されたサービスです。これらすべての種類のサービスが分散アプリケーションにより何らかの形で使用されます」 (Apache Kafka を含む)。

Q. Amazon MSK は Apache ZooKeeper を使用しますか?
はい、Amazon MSK は Apache ZooKeeper を使用し、Amazon MSK サービスの一部として各クラスター内で Apache ZooKeeper を管理します。Apache ZooKeeper ノードは、追加料金なしで各クラスターに含まれています。

統合

Q. Amazon MSK と統合されるのはどの AWS のサービスですか?
Amazon MSK は次のサービスと統合されます。
 
Amazon MSK Serverless は以下と統合されます。

スケーリング

Q: クラスタ内のストレージをどのようにスケールアップできますか?
AWS マネジメントコンソールまたは AWS CLI を使用して、プロビジョンドクラスター内のストレージをスケールアップできます。サーバーレスクラスターでは、ストレージが使用状況に基づいてシームレスに拡張されます。

Q: クラスター内のストレージを自動的に拡張するにはどうすればよいですか?
AWS マネジメントコンソールを使用するか、AWS CLI または API を使用して AWS Application Auto Scaling ポリシーを作成することにより、Auto Scaling ストレージポリシーを作成できます。
 
Q: 既存のクラスター内でブローカー数のスケーリングは行えますか?
はい。プロビジョンされた Amazon MSK クラスターのブローカーの数をスケールアウトまたは増やすことができます。

Q: 既存のクラスターでブローカーのサイズをスケーリングすることができますか?
はい。プロビジョンされた Amazon MSK クラスターで小規模または大規模のブローカータイプにスケーリングすることを選択できます。

Q. ブローカー間でパーティションのバランスを取るにはどうすればよいですか?
I/O の熱を管理するために、パーテーションのバランスを自動的に調整する Cruise Control を使用できます。詳細については、 Cruise Control のドキュメントを参照してください。または、Kafka Admin API kafka-reassign-partitions.sh を使用して、ブローカー間でパーティションを再度割り当てることもできます。サーバーレスクラスターでは、Amazon MSK が自動的にパーティションのバランスを取ります。

料金と可用性

Q: Amazon MSK の料金のしくみを教えてください。
料金は、作成するリソースによって異なります。詳細については、料金表ページをご覧ください。

Q: データレプリケーションの結果、データ転送料金は発生しますか?
いいえ、クラスター内のデータ転送はすべてサービスに含まれており、追加料金はありません。

Q. どの AWS リージョンで Amazon MSK が提供されていますか?
Amazon MSK のリージョン別利用状況については、ここに記載されています。

Q. データ転送の料金体系を教えてください。
プロビジョンドクラスターを使用して、Amazon MSK クラスターで送受信されたデータに対して通常の AWS データ転送料金をお支払いいただきます。ブローカー間のデータ転送、ブローカーおよび Apache ZooKeeper ノード間のデータ転送など、同じリージョンのクラスター内におけるデータ転送に料金はかかりません。

サーバーレスクラスターでは、別のリージョンとの間で転送されるデータ、およびパブリックインターネットに転送されるデータについては、標準の AWS データ転送料金をお支払いいただきます。

コンプライアンス

Q. Amazon MSK に適用されるコンプライアンスプログラムは何ですか?
Amazon MSK は以下のプログラムに準拠または対応しています。

  • HIPAA 対応
  • PCI
  • ISO
  • SOC 1、2、3

AWS のサービスとコンプライアンスプログラムの完全なリストについては、コプライアンスプログラムによる AWS 対象範囲内のサービスを参照してください

サービスレベルアグリーメント (SLA)

Q. Amazon MSK の SLA は何を保証していますか?
Amazon MSK SLA は、Amazon MSK に最低 99.9% の月間アップタイム率を保証しています (MSK Serverless には未適用)。
 
Q: SLA サービスクレジットの資格を有しているかどうかは、どうすれば分かりますか?
Amazon MSK でのマルチ AZ 配置で、毎月の請求サイクル中に月間稼働率が 99.9% 未満の場合、Amazon MSK SLA に基づく Amazon MSK の SLAクレジットを取得できます。
 
SLA の利用規約に関するすべての詳細、およびクレジット請求方法の詳細については、 Amazon MSK SLA の詳細ページをご参照ください。

Amazon MSK の利用を開始する

コストの計算
コストの計算

Amazon MSK 料金表ページを参照してください。

入門ガイドを見る
入門ガイドを確認する

Amazon MSK で Apache Kafka クラスターをセットアップする方法については、このステップバイステップガイドを参照してください。

Apache Kafka クラスターの実行
Apache Kafka クラスターの実行

Amazon MSK で Apache Kafka クラスターを実行し始めます。Amazon MSK コンソールにログインします。