リファレンスデプロイ

AWS での Confluent Platform

Apache Kafka で構築された大規模な分散環境向けストリーミングプラットフォーム

このクイックスタートでは Confluent Platform を AWS クラウドに自動的にデプロイします。

Confluent Platform は、大規模な分散環境に適したストリーミングプラットフォームで、Apache Kafka で構築されています。Confluent Platform では、お使いのインターフェイスと接続先データシステムがすべて有効なため、内部システムをすべて活かして意思決定を下すことができます。

このクイックスタートは、AWS のマネージドインフラストラクチャで Confluent Platform と Apache Kafla の多種多様な機能を評価し、活用したいと考えているユーザーを対象としています。このクイックスタートは、Confluent Open SourceConfluent Enterprise という 2 種類のソフトウェアエディションをサポートしています。

このクイックスタートでは、AWS CloudFormation テンプレートを使用して Confluent 環境をデプロイします。クイックスタートを使用すると、お使いの Confluent Platform クラスター用に新しい Virtual Private Cloud (VPC) を構築したり、Confluent Platform を既存の VPC にデプロイしたりできます。

また、Confluent Cloud (AWS 上のサービスとして管理の行き届いた Apache Kafka) も使用できます。

confluent-logo

このクイックスタートは Confluent, Inc. と AWS が共同開発しました。 Confluent は、
APN パートナーです。

  •  構築するもの
  •  デプロイ方法
  •  コストとライセンス
  •  構築するもの
  • このクイックスタートを使用して、次の AWS 版 Confluent Platform をセットアップします。

    • 新しい VPC デプロイオプションを使用している場合、2 つのアベイラビリティーゾーンにわたって構成された VPC。このクイックスタートで、アベイラビリティーゾーンにそれぞれ 1 つのパブリックサブネットをプロビジョニングします。Confluent Platform のデプロイでは両方のサブネットを使用します。
    • Confluent Platform デプロイの各論理ロールに対応する EC2 インスタンスグループ。インスタンスはアベイラビリティーゾーン間で均等に分散しつつ、引き続き 1 つの論理クラスターと見なします。Confluent Platform インスタンスには以下が含まれます。
      • クォーラム管理サービスをホストし、トピックメタデータを管理する Zookeeper
      • Kafka ブローカーサービスをホストし、トピックデータを維持するブローカー
      • 追加の Confluent Platform サービスをサポートするワーカー
    • 次のインスタンスへの必要なネットワークトラフィックを許容するセキュリティグループ設定
      • Zookeeper やブローカーに対する Kafka クライアントのトラフィック
      • 追加の Confluent Platform サービスに対する REST、HTTP/HTTPS でのアクセス
  •  デプロイ方法
  • AWS 版 Confluent Platform 環境は、次のとおり少数の簡単なステップに沿って 10~15 分でデプロイできます。

    1. AWS アカウントをお持ちでない場合は、https://aws.amazon.com でサインアップしてください。
    2. AWS Marketplace で Linux AMI を購読します (Amazon LinuxCentOS 7Ubuntu Server 16.04 LTS のいずれか)。
    3. クイックスタートを起動します。それぞれのデプロイにはおよそ 10 分かかります。次の 2 つのオプションから選択できます。
    4. ワーカーノードでテストを実行し、デプロイの結果をテストします。

    デプロイする Confluent Platform のバージョンやエディションを選択し、Zookeeper インスタンス、ブローカーインスタンス、ワーカーインスタンスのストレージ容量を設定し、CIDR ブロックサイズなどの構成設定を変更する形で、デプロイをカスタマイズできます。   

  •  コストとライセンス
  • このクイックスタートリファレンスデプロイの実行中に使用した AWS のサービスのコストは、お客様が負担します。クイックスタートを使用しても追加コストは発生しません。

    このクイックスタートの AWS CloudFormation テンプレートには、カスタマイズ可能な設定パラメータが含まれています。インスタンスタイプなどの設定の一部は、デプロイにかかるコストに影響を与えます。コストの見積もりについては、使用する AWS の各サービスの料金ページをご覧ください。料金は変更する場合があります。

    Confluent ソフトウェアは Bring-Your-Own-License モデルです。各自で用意してください。このクイックスタートは、Confluent Open SourceConfluent Enterprise という 2 種類のソフトウェアエディションをサポートしています。Confluent Open Source はライセンス不要ですが、Confluent Enterprise では Confluent から直接ライセンスを購入する必要があります。ユーザーの便宜を図るため、Confluent Enterprise はデフォルトで 30 日間のトライアル用ライセンスでデプロイできます。