Amazon Managed Streaming for Kafka (MSK)

(パブリックプレビュー)

完全マネージド型で可用性が高くセキュアな Apache Kafka サービス

Amazon Managed Streaming for Kafka (Amazon MSK) は、Apache Kafka がストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。 Apache Kafka は、リアルタイムのストリーミングデータパイプラインおよびアプリケーションを構築するためのオープンソースプラットフォームです。Amazon MSK では、Apache Kafka API を使用し、データレイクへの入力、データベースとの間での変更のストリーミング、機械学習および分析アプリケーションの強化を行うことができます。

Apache Kafka クラスターは、本番稼働中にセットアップ、スケーリング、管理するのが困難です。Apache Kafka をお客様ご自身で実行した場合、サーバーのプロビジョニング、Apache Kafka の手動設定、障害が発生したサーバーの交換、サーバーのパッチとアップグレードの調整、可用性の高いクラスターの構築、データの永続的かつ安全な保存、監視とアラームのセットアップ、負荷の変化に対応するスケーリングイベントの慎重な計画をご自身で行う必要があります。Amazon Managed Streaming for Kafka では、Apache Kafka のインフラストラクチャ管理に関する専門知識がなくても、Apache Kafka で本稼働アプリケーションを簡単に構築および実行できます。つまり、インフラストラクチャの管理に費やす時間が減り、アプリケーションの構築に多くの時間を費やせるようになります。

Amazon MSK コンソールで数回クリックするだけで、Apache Kafka のデプロイベストプラクティスに基づく設定を備えた可用性の高い Apache Kafka クラスターを作成できます。Amazon MSK は、Apache Kafka クラスターを自動的にプロビジョニングして実行します。Amazon MSK は、クラスターの状態を常時監視し、アプリケーションのダウンタイムなしで異常なノードを自動的に交換します。さらに、Amazon MSK は保管時のデータを暗号化することで Apache Kafka クラスターを保護します。

利点

完全互換

Amazon MSK は、Apache Kafka を自動的に実行して管理します。これにより、アプリケーションコードを変更しなくても、AWS で既存の Apache Kafka アプリケーションを簡単に移行して実行することができるようになります。Amazon MSK を使用することで、オープンソースの互換性を維持し、使い慣れたカスタムツールやおよびコミュニティで構築されたツール (ストリームのレプリケーションを提供する MirrorMaker など) を使用し続けることができます。

フルマネージド型

Amazon MSK では、Apache Kafka 環境を管理する運用上のオーバーヘッドについて心配しなくても、ストリーミングアプリケーションの作成に集中できます。Amazon MSK は、Apache Kafka クラスターと Apache Zookeeper ノードのプロビジョニング、設定、メンテナンスを自動的に管理します。Amazon MSK では、主要な Apache Kafka パフォーマンスメトリクスも AWS コンソールに表示されます。

高可用性

Amazon MSK は、Apache Kafka クラスターを作成し、AWS リージョン内で マルチ AZ レプリケーションを提供します。Amazon MSK はクラスターの状態を常時監視し、コンポーネントで障害が発生した場合は自動的に交換します。

高い安全性

Amazon MSK では、Amazon VPC を使用したネットワークの分離、コントロールプレーン API 認証用の AWS IAM、保管時の暗号化など、Apache Kafka クラスターにさまざまなレベルのセキュリティを用意しています。Amazon MSK の暗号化サポートは、AWS Key Management Service (KMS) と統合されています。

仕組み

Apache Kafka は、データストアにストリーミングデータを生成するアプリケーション (プロデューサー) と、データストアからストリーミングデータを使用するアプリケーション (コンシューマー) を切り離すストリーミングデータストアです。組織では、ストリーミングデータを継続的に分析して対応するアプリケーションのデータソースとして Apache Kafka を使用します。

Amazon MSK コンソールで数回クリックするだけで、Amazon MSK により Apache Kafka クラスターがプロビジョニングされて Apache Kafka のアップグレードが管理されるため、Apache Kafka の最も安全で高速なバージョンを常に使用することができます。クラスターを設定すると、アプリケーションはプロデューサーからトピックにデータをストリーミングできます。トピックでは、このデータがコンシューマーによりリアルタイムで読み取られます。

product-page-diagram_Grand-Canyon-How-It-Works2

Amazon MSK の利用を開始する

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Amazon MSK クラスターのセットアップ

AWS にサインアップし、ライブラリとツールをダウンロードしてください。

Product-Page_Standard-Icons_01_Product-Features_SqInk
入門ガイドを見る

Amazon MSK で Apache Kafka クラスターをセットアップする方法については、このステップバイステップガイドを参照してください。

Product-Page_Standard-Icons_03_Start-Building_SqInk
Apache Kafka クラスターの実行

Amazon MSK で Apache Kafka クラスターを実行し始めます。Amazon MSK コンソールにログインします。