Amazon MSK のよくある質問

• Apache Kafka は、耐障害性の方法でストリーミングデータを保存し、プロデューサーとコンシューマーの間にバッファを提供します。イベントを連続する一連のレコードとして保存し、レコードが生成された順序を保持します。
• Apache Kafka では、多くのデータプロデューサー – 例: ウェブサイト、IoT デバイス、Amazon Elastic Compute Cloud (Amazon EC2) インスタンスなど – がストリーミングデータを連続的に発行し、Apache Kafka トピックを使用して分類できます。複数のデータコンシューマー (機械学習アプリケーション、AWS Lambda 関数、マイクロサービスなど) がこれらのトピックを独自のレートで読み込みます。これは、メッセージキューやエンタープライズメッセージングシステムと似ています。
• データコンシューマーは、Apache Kafka トピックからのデータを先入れ先出しベースで処理し、データが生成された順序を保持します。

Q: MSK Serverless とは?
MSK Serverless は Amazon MSK のクラスタータイプであり、Apache Kafka クラスターを簡単に実行できます。コンピューティング容量とストレージ容量を管理する必要はありません。MSK Serverless を使用すれば、クラスターをプロビジョン、構成、または最適化することなくアプリケーションを実行でき、ストリーミングおよび保持するデータ量に対して料金をお支払いいただきます。

Q: MSK Serverless はクラスター内のパーティションで自動的にバランスを取りますか?
はい。MSK Serverless は、パーティションをフルで管理します。これには、パーティションをモニタリングして移動し、クラスター全体で均等にロードすることも含まれます。

Q: MSK Serverless はどのくらいのデータスループット容量をサポートしていますか?
MSK Serverless は、クラスターごとに最大 200 MBps の書き込み容量と 400 MBps の読み取り容量を提供しています。さらに、クラスター内のすべてのパーティションで十分なスループットの可用性を確保するために、MSK Serverless はパーティションごとに最大 5 MBps のインスタント書き込み容量と 10 MBps のインスタント読み取り容量を割り当てています。

Q: MSK Serverless はどのようなセキュリティ機能を提供しますか?
MSK Serverless は、AWS Key Management Service (KMS) を通じて発行されたサービスマネージドキーを使用して、転送中のトラフィックすべてと保管中のデータすべてを暗号化します。クライアントは、トラフィックを公開インターネットに公開することなく、AWS PrivateLink を使用するプライベート接続経由で MSK Serverless に接続します。さらに、MSK Serverless は IAM アクセスコントロールを提供します。これにより、トピックなどの Apache Kafka リソースに対するクライアント認証とクライアント承認を管理できます。

Q: プロデューサとコンシューマは、どうやって MSK Serverless クラスターにアクセスできますか?
MSK Serverless クラスターを作成するときは、クラスターのクライアントをホストする 1 つ以上の Amazon Virtual Private Cloud (VPC) サブネットを提供します。これらの VPC のいずれかでホストされているクライアントは、ブローカーのブートストラップ文字列を使用して MSK Serverless クラスターに接続できます。

Q: MSK Serverless はどのリージョンで利用できますか?
最新リージョンの可用性については、MSK の料金ページを参照してください。

Q: MSK Serverless はどの認証タイプに対応していますか?
MSK Serverless は現在、クライアントの認証と承認のために AWS IAM をサポートしています。クライアントは認証のために AWS IAM ロールを引き受けることができ、関連付けられた IAM ポリシーを使用してアクセスコントロールを適用できます。

Q: MSK Serverless クラスターでデータを処理するにはどうすればよいですか?
Apache Kafka 互換ツールを使用して、MSK Serverless クラスタートピックのデータを処理できます。MSK Serverless は、ステートフルストリーム処理用の Apache Flink およびイベント処理用の AWS Lambda 向けの Amazon Managed Service for Apache Flink と統合されています。Kafka Connect シンクコネクタを使用して、任意の送信先にデータを送信することもできます。

Q: MSK Serverless はどのようにして高可用性を確保しますか?
パーティションを作成すると、MSK Serverless はそのレプリカを 2 つ作成し、それらを異なるアベイラビリティーゾーンに配置します。さらに、MSK Serverless は、障害が発生したバックエンドリソースを自動的に検出して回復し、高可用性を維持します。

Q: Apache Kafka API を使用して Apache Kafka からデータを出し入れすることはできますか?
はい、Amazon MSK はネイティブの Apache Kafka プロデューサーおよびコンシューマー API をサポートしています。クライアントが Amazon MSK 内のクラスターを操作し始めたときに、アプリケーションコードを変更する必要はありません。

Q. Apache Kafka Connect、Apache Kafka Streams、または Apache Kafka の他のエコシステムコンポーネントを Amazon MSK で使用することはできますか?
はい、Apache Kafka プロデューサーおよびコンシューマー API を利用するあらゆるコンポーネント、および Apache Kafka Admin Client を使用できます。.jar ファイルを Apache Kafka クラスターにアップロードするツールは、現在のところ Amazon MSK と互換性がありません (Confluent Control Center、Confluent Auto Data Balancer、Uber uReplicator など)。

Q: Apache Kafka のバージョンアップグレードはサポートされていますか?
はい、Amazon MSK では、プロビジョンドクラスターのフルマネージド型の Apache Kafka のインプレースバージョンアップグレードをサポートしています。お使いの Apache Kafka バージョンのアップグレードや高可用性のベストプラクティスの詳細については、バージョンアップグレードのドキュメントを参照してください。

Q. デフォルトのブローカー設定の変更、またはクラスター設定を Amazon MSK にアップロードすることはできますか?
はい、Amazon MSK ではカスタム設定を作成して、新しいクラスターにも既存のクラスターにも適用することができます。カスタム構成の詳細については、ドキュメント内の設定を参照してください。

Q. どのような設定プロパティをカスタマイズできますか?
カスタマイズ可能な構成プロパティーはここに記載されています。

Q. 新しいトピックのデフォルト設定は何ですか?
Amazon MSK は、こちらで特に明記されていない限り Apache Kafka のデフォルト設定を使用します。

Q: Amazon MSK は Amazon VPC で実行されますか?
はい、Amazon MSK は常に Amazon MSK サービスにより管理される Amazon VPC 内で実行されます。Amazon MSK リソースは、クラスターのセットアップ時に選択したお客様自身の Amazon VPC、サブネット、セキュリティグループで利用可能になります。VPC の IP アドレスは、Elastic Network Interface (ENI) を通じて Amazon MSK リソースにアタッチされ、すべてのネットワークトラフィックが AWS ネットワーク内に留まり、デフォルトではインターネットにアクセスできなくなります。

Q. Amazon MSK クラスター内のブローカーはどのようにして VPC 内のクライアントにアクセスできるようになりますか?
クラスター内のブローカーは、アカウントに表示される ENI を通じて VPC 内のクライアントにアクセスできるようになります。ENI のセキュリティグループは、ブローカーで許可される受信および送信トラフィックのソースとタイプを指示します。

Q: 公開インターネット経由でクラスターに接続することは可能ですか?
はい、Amazon MSK は、Apache Kafka 2.6.0 以降のバージョンを実行している Amazon MSK クラスターのブローカーにインターネット経由で安全に接続するオプションを提供しています。パブリックアクセスを可能にすることで、プライベートな Amazon Virtual Private Cloud (VPC) の外部にいる許可されたクライアントは、特定の Amazon MSK クラスターとの間で暗号化されたデータをストリーミングでやり取りすることができます。MSK クラスターのパブリックアクセスは、クラスターの作成後に追加費用なしで有効にできますが、クラスターの出入りには標準的な AWS のデータ転送コストがかかります。パブリックアクセスを有効にすることについての詳細は、パブリックアクセスのドキュメントを参照してください。

Q. クライアントと Amazon MSK クラスター間の接続はプライベートですか?
デフォルトでは、Amazon MSK クラスターからデータを生成して使用するには、VPC および Amazon MSK クラスター間でプライベート接続を使用する必要があります。ただし、Amazon MSK クラスターのパブリックアクセスを有効にして、パブリックな bootstrap-broker 文字列を使用して MSK クラスターに接続する場合、その接続は、認証、認可、および暗号化されているものの、もはやプライベートとはみなされません。クラスターのセキュリティグループに、信頼される IP アドレスからのパブリックアクセスを許可するインバウンド TCP ルールを設定し、パブリックアクセスを有効にした場合は、これらのルールをできるだけ制限することをお勧めします。

質問: Amazon MSK クラスターにインターネット経由で接続する方法を教えてください。
最も簡単な方法は、Apache Kafka 2.6.0 以降のバージョンを実行している MSK クラスターのブローカーへのインターネット経由の公開接続を有効にすることです。セキュリティ上の理由から、MSK クラスターの作成時にパブリックアクセスを有効にすることはできません。ただし、既存のクラスターを更新して公的にアクセス可能にすることができます。また、新しいクラスターを作成してから、そのクラスターを更新して公的にアクセス可能にすることもできます。パブリックアクセスを有効にすることについての詳細は、パブリックアクセスのドキュメントを参照してください。

質問: AWS ネットワーク内から Amazon MSK クラスターに接続し、クラスターの Amazon VPC の外部から接続する方法を教えてください。
Apache Kafka バージョン 2.7.1 以降のバージョンを実行する MSK クラスターのマルチ VPC プライベート接続を有効にすることで、MSK クラスターとは異なる VPC または AWS アカウントから MSK クラスターに接続できます。サポートされている認証方式 (IAM 認証、SASL SCRAM、mTLS 認証) のいずれかのクラスター作成後にのみ、プライベート接続を有効にできます。プライベート接続を有効にするには、AWS PrivateLink テクノロジーを使用する Amazon MSK マネージド VPC 接続を使用してクラスターにプライベート接続するようにクライアントを設定する必要があります。プライベート接続の設定の詳細については、AWS ドキュメント内からのアクセスを参照してください。

Q: Amazon MSK クラスターでデータを暗号化することはできますか?
はい、Amazon MSK は Amazon Elastic Block Store (Amazon EBS) サーバー側の暗号化と AWS Key Management Service (AWS KMS) キーを使用して、ストレージボリュームを暗号化できます。

Q: Amazon MSK クラスター内のブローカー間で転送中のデータは暗号化されていますか?
はい、デフォルトでは、新しいクラスタはブローカー間通信用の TLS を介した転送データの暗号化が有効になっています。プロビジョンされたクラスターの場合、クラスターの作成時に転送データの暗号化の使用をオプトアウトできます。

Q: Apache Kafka クライアントと Amazon MSK サービス間で転送データは暗号化されますか?
はい。デフォルトでは、転送中の暗号化は、CLI または AWS マネジメントコンソールから作成されたクラスターに対してのみ TLS に設定されます。クライアントが TLS 暗号化を使用してクラスターと通信するには、追加設定が必要です。プロビジョンドクラスターでは、デフォルトの暗号化設定は、TLS/プレーンテキストまたはプレーンテキストの設定を選択して変更できます。MSK 暗号化について続きを読む。

Q: 転送データは、Amazon MSK クラスター内のブローカーと Apache ZooKeeper ノードの間を移動するとき暗号化されますか?
はい、ApacheKafka バージョン 2.5.1 以降を実行している Amazon MSK クラスターは、Kafka ブローカーノードと ZooKeeper ノード間の TLS 転送中の暗号化をサポートしています。

Q. クラスタ認証とApache Kafka API の認可を制御するにはどうすればよいですか?
サーバーレスクラスターの場合、認証と認可の両方に IAM アクセスコントロールを使用できます。プロビジョンされたクラスターの場合、3 つのオプションがあります。1) AuthN/Z 共に AWS Identity and Access Management (IAM) アクセスコントロール (推奨)、2) AuthN に TLS 証明書認証 (CA)、AuthZ にアクセスコントロールリスト、3) AuthN に SASL/SCRAM、AuthZ にアクセスコントロールリスト。Amazon MSK は IAM Access Control の使用を推奨します。最も簡単に使用でき、デフォルトで最小特権のアクセスになるため、最も安全なオプションです。

Q. Amazon MSK では認可はどのように機能しますか?
IAM アクセスコントロールを使用している場合、Amazon MSK はあなたが書いたポリシーと独自のオーソライザーを使用してアクションを認可します。TSL 証明書認証や SASL/SCRAM を使用している場合、Apache Kafka は認可にアクセスコントロールリスト (ACL) を使用します。ACL を有効にするには、TLS 証明書と SASL/SCRAM のいずれかを使用してクライアント認証を有効にする必要があります。

Q. クライアントを同時に認証および認可するにはどうすればよいですか?
IAM Access Control を使用している場合、Amazon MSK が追加の設定なしに認証と認可を行います。TLS 認証を使用している場合、クライアント TLS 証明書の Dname を ACL のプリンシパルとして使用して、クライアントのリクエストを認可できます。SASL/SCRAM を使用している場合、ユーザー名を ACL のプリンシパルとして使用して、クライアントのリクエストを認可できます。

Q. どのようにしてサービス API アクションをコントロールするのですか?
AWS Identity and Access Management (IAM) を使用してサービス API アクションをコントロールすることができます。

Q. 既存のクラスターに対して、IAM Access Control を有効にすることはできますか?
はい、AWS コンソールから、または UpdateSecurity API を使用して、既存のクラスターの IAM アクセスコントロールを有効にできます。

Q. IAM Access Control は、Amazon MSK 以外でも使用できますか?
いいえ、IAM Access Control は、Amazon MSK クラスターのみで使用できます。

Q: Amazon MSK クラスターにプライベートに接続するために、Amazon MSK とは異なる AWS アカウントの Kafka クライアントにクロスアカウントアクセス権限を与えるにはどうすればよいですか?
Amazon MSK クラスターにクラスターポリシーを使用して、Amazon MSK クラスターへのプライベート接続をセットアップするためのクロスアカウントの Kafka クライアントアクセス権限を与えることができます。IAM クライアント認証を使用する場合、クラスターポリシーを使用して、接続しているクライアントの Kafka データプレーンの権限を細かく定義することもできます。クラスターポリシーの詳細については、クラスターポリシーのドキュメントを参照してください。

Q: Apache ZooKeeper とは何ですか?
https://zookeeper.apache.org による説明: 「Apache ZooKeeper は、設定情報の維持、名前付け、分散化された同期の提供、およびグループサービスを提供する一元化されたサービスです。これらすべての種類のサービスが分散アプリケーションにより何らかの形で使用されます」 (Apache Kafka を含む)。

Q. Amazon MSK は Apache ZooKeeper を使用しますか?
はい、Amazon MSK は Apache ZooKeeper を使用し、Amazon MSK サービスの一部として各クラスター内で Apache ZooKeeper を管理します。Apache ZooKeeper ノードは、追加料金なしで各クラスターに含まれています。

• Kinesis Data Firehose を使用して MSK から Amazon S3 にデータを簡単かつコードなしで配信している Amazon S3。
  
• ネットワークの分離とセキュリティ用の Amazon Virtual Private Cloud (Amazon VPC)
• メトリクス用の Amazon CloudWatch
• ストレージボリューム暗号化のための AWS Key Management Service (AWS KMS)
• Apache Kafka とサービス API の認証と認可のための Amazon IAM
• MSK イベントソーシングのための AWS Lambda
• IoT イベントソーシングのための AWS IoT
• Apache Kafka アプリケーションが使用するスキーマの進化を管理する AWS Glue スキーマレジストリ
  
• AWS API ログ用の AWS CloudTrail
• クライアント TLS 認証に使用されるプライベート CA 用の AWS Certificate Manager
• コードを使用して Amazon MSK クラスターを定義し、プロビジョンするための AWS CloudFormation
  
• ストリーミングデータを処理するフルマネージド型 Apache Flink アプリケーションのための Amazon Managed Service for Apache Flink
  
• Apache Kafka におけるインタラクティブストリーミング SQL のための Amazon Managed Service for Apache Flink Studio
  
• SASL/SCRAM 認証に使用されるクライアント認証情報用の AWS Secrets Manager
  

• Kinesis Data Firehose を使用して MSK から Amazon S3 にデータを簡単かつコードなしで配信している Amazon S3。
  
• ネットワークの分離とセキュリティ用の Amazon VPC
• メトリクス用の Amazon CloudWatch
• Apache Kafka とサービス API の認証と認可のための Amazon IAM
• Apache Kafka アプリケーションが使用するスキーマの進化を管理する AWS Glue スキーマレジストリ
• AWS API ログ用の AWS CloudTrail
• プライベート接続のための AWS PrivateLink
  

Q: Amazon MSK の料金のしくみを教えてください。
料金は、作成するリソースによって異なります。詳細については、料金表ページをご覧ください。

Q: データレプリケーションの結果、データ転送料金は発生しますか?
いいえ、クラスター内のデータ転送はすべてサービスに含まれており、追加料金はありません。

Q. どの AWS リージョンで Amazon MSK が提供されていますか?
Amazon MSK のリージョン別利用状況については、ここに記載されています。

Q. データ転送の料金体系を教えてください。
プロビジョンドクラスターを使用して、Amazon MSK クラスターで送受信されたデータに対して通常の AWS データ転送料金をお支払いいただきます。ブローカー間のデータ転送、ブローカーおよび Apache ZooKeeper ノード間のデータ転送など、同じリージョンのクラスター内におけるデータ転送に料金はかかりません。

サーバーレスクラスターでは、別のリージョンとの間で転送されるデータ、およびパブリックインターネットに転送されるデータについては、標準の AWS データ転送料金をお支払いいただきます。

• HIPAA 対応

• PCI

• ISO

• SOC 1、2、3

AWS のサービスとコンプライアンスプログラムの完全なリストについては、コプライアンスプログラムによる AWS 対象範囲内のサービスを参照してください。

Q: Amazon MSK Replicator とは何ですか?
Amazon MSK Replicator は Amazon MSK の機能であり、これを利用することで、お客様はコードを作成したりインフラストラクチャを管理したりすることなく、異なる AWS リージョン (クロスリージョンレプリケーション) または同じ AWS リージョン内の Amazon MSK クラスター間でデータを確実にレプリケートできます (同一リージョンレプリケーション)。クロスリージョンレプリケーション (CRR) を使用して、可用性が高く耐障害性のあるマルチリージョンストリーミングアプリケーションを構築し、回復性を高めることができます。また、CRR を使用して、さまざまなリージョンのコンシューマーに低レイテンシーのアクセスを提供することもできます。SRR を使用して、1 つのクラスターから多数のクラスターにデータを分散し、パートナーやチームとデータを共有できます。SRR を使用して、複数のクラスターのデータを 1 つのクラスターに集約して分析することもできます。

Q: MSK Replicator の使用方法を教えてください。
ソースとターゲットの MSK クラスターのペア間のレプリケーションを設定するには、デスティネーションのAWS リージョンに Replicator を作成する必要があります。Replicator を作成するには、ソースとターゲットの MSK クラスターの Amazon リソースネーム (ARN)、および MSK Replicator がクラスターへのアクセスに使用できる AWS Identity and Access Management (IAM) ロールなどの詳細を指定します。ターゲット MSK クラスターがまだ存在しない場合は、作成する必要があります。

Q: MSK Replicator ではどのタイプの Kafka クラスターがサポートされていますか?
MSK Replicator は MSK クラスター間のレプリケーションのみをサポートします。プロビジョンド MSK クラスターとサーバーレスタイプの両方の MSK クラスターがサポートされます。MSK Replicator を使用して、プロビジョンドからサーバーレスへ、またはその逆に移行することもできます。その他の Kafka クラスターはサポートされていません。

Q: レプリケートするトピックを指定できますか?
はい。Replicator の作成時に、許可リストと拒否リストを使用してレプリケートするトピックを指定できます。

Q: MSK Replicator はトピック設定とコンシューマーグループのオフセットをレプリケートしますか?
はい。MSK Replicator は、トピック構成、アクセスコントロールリスト (ACL)、コンシューマーグループオフセットなどの必要な Kafka メタデータを自動的にレプリケートするため、消費アプリケーションはフェイルオーバー後にシームレスに処理を再開できます。データのみをレプリケートする場合は、これらの設定を 1 つ以上オフにすることができます。Replicator の作成時に、許可リストまたは拒否リストを使用して、レプリケートするコンシューマーグループを指定することもできます。

Q: イングレススループットが変化した場合、レプリケーションをスケールする必要がありますか?
いいえ。MSK Replicator は、イングレススループットの変化に対応するために、基盤となるレプリケーションインフラストラクチャを自動的にデプロイ、プロビジョニング、スケールします。

Q: 異なる AWS アカウントの MSK クラスター間でデータをレプリケートできますか?
いいえ、MSK Replicator は、同じ AWS アカウント内の MSK クラスター間のレプリケーションのみをサポートします。

Q: レプリケーションをモニタリングするにはどうすればよいですか?
送信先リージョンの Amazon CloudWatch を使用して、「ReplicationLatency、
MessageLag、および ReplicatorThroughput」のメトリックスを各 Replicator のトピックレベルおよび集計レベルで、追加料金なしで表示できます。メトリクスは「AWS/Kafka」名前空間の ReplicatorName の下に表示されます。また、「ReplicatorFailure、AuthError、ThrottleTime」メトリックを確認して、Replicator に問題が発生していないかどうかを確認することもできます。

Q: レプリケーションを使用して、リージョンをまたがるストリーミングアプリケーションの回復性を高めるにはどうすればよいですか?
MSK Replicator を使用してアクティブ/アクティブまたはアクティブ/パッシブのクラスタートポロジーを設定し、リージョン間の Kafka アプリケーションの回復性を高めることができます。アクティブ/アクティブ設定では、両方の MSK クラスターが読み取りと書き込みをアクティブに処理しています。比較すると、アクティブ/パッシブ設定では、一度に 1 つの MSK クラスターのみがストリーミングデータをアクティブに提供し、もう 1 つのクラスターはスタンバイ状態になります。

Q: MSK Replicator を使用して、1 つのクラスターから複数のクラスターにデータをレプリケートしたり、多数のクラスターから 1 つのクラスターにデータをレプリケートしたりできますか?
はい。必要なのは、ソースとターゲットのクラスターペアごとに異なる Replicator を作成することだけです。

Q: MSK Replicator はソースとターゲット MSK クラスターにどのように接続しますか?
MSK Replicator は IAM Access Control を使用してソースクラスターとターゲットクラスターに接続します。Replicator を作成するには、IAM Access Control のソースとターゲット MSK クラスターを有効にする必要があります。Amazon MSK は複数の認証方法を同時にサポートしているため、クライアントでは SASL/SCRAM や mTLS などの他の認証方法を引き続き使用できます。

Q: MSK Replicator ではどのくらいのレプリケーションレイテンシーが予想されますか?
MSK Replicator はデータを非同期でレプリケートします。レプリケーションレイテンシーは、MSK クラスターの AWS リージョン間のネットワーク距離、ソースクラスターとターゲットクラスターのスループットキャパシティ、ソースクラスターとターゲットクラスターのパーティション数など、さまざまな要因によって異なります

Q: トピック名を MSK Replicator と同じに保つことはできますか?
いいえ。MSK Replicator は、トピック名に自動生成されたプレフィックスを追加して、ターゲットクラスターに新しいトピックを作成します。例えば、MSK Replicator は、「トピック」のデータをソースクラスターから「<sourceKafkaClusterAlias>.topic」というターゲットクラスターの新しいトピックにレプリケートします。MSK Replicator は、ソースクラスターからレプリケートされたデータを含むトピックをターゲットクラスターの他のトピックと区別し、データがクラスター間で循環的にレプリケートされるのを防ぐためにこれを行います。DescribeReplicator API または MSK コンソールの Replicator 詳細ページを使用して、ターゲットクラスターのトピック名に追加されるプレフィックスを「SourceKafkaClusterAlias」フィールドで確認できます。

Q: ソースクラスターの既存のデータをレプリケートできますか?
いいえ。新しい Replicator を作成すると、ソースクラスターのストリームの先端 (最新のオフセット) からデータのレプリケートが開始されます。

Q: レプリケーションによってソースクラスターのコンシューマーがスロットリングされる可能性はありますか?
MSK Replicator はソースクラスターのコンシューマーとして機能するため、レプリケーションによってソースクラスターの他のコンシューマーがスロットリングされる可能性があります。これは、ソースクラスターの読み取りキャパシティと、レプリケートするデータのスループットによって異なります。ソースクラスターとターゲットクラスターに同じキャパシティをプロビジョニングし、必要なキャパシティを計算する際にレプリケーションスループットを考慮することをお勧めします。また、ソースクラスターとターゲットクラスターのReplicator の Kafka クォータを設定して、Replicator が使用できるキャパシティを制御することもできます。

Q: ターゲットクラスターに書き込む前にデータを圧縮できますか?
はい。Replicator の作成時に、「None」、「GZIP」、「Snappy」、「LZ4」、「ZSTD」の中から圧縮コーデックを選択できます。