Amazon Managed Streaming for Apache Kafka (Amazon MSK)

完全マネージド型で可用性が高くセキュアな Apache Kafka サービス

Amazon MSK は、Apache Kafka をストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。 Apache Kafka は、リアルタイムのストリーミングデータパイプラインおよびアプリケーションを構築するためのオープンソースプラットフォームです。Amazon MSK では、Apache Kafka API を使用し、データレイクへの入力、データベースとの間での変更のストリーミング、機械学習および分析アプリケーションの強化を行うことができます。

Apache Kafka クラスターは、本番稼働中にセットアップ、スケーリング、管理するのが困難です。Apache Kafka をお客様ご自身で実行した場合、サーバーのプロビジョニング、Apache Kafka の手動設定、障害が発生したサーバーの交換、サーバーのパッチとアップグレードの調整、可用性の高いクラスターの構築、データの永続的かつ安全な保存、監視とアラームのセットアップ、負荷の変化に対応するスケーリングイベントの慎重な計画をご自身で行う必要があります。Amazon MSK では、Apache Kafka のインフラストラクチャ管理に関する専門知識がなくても、Apache Kafka で本稼働アプリケーションを簡単に構築および実行できます。つまり、インフラストラクチャの管理に費やす時間が減り、アプリケーションの構築に多くの時間を費やせるようになります。

Amazon MSK コンソールで数回クリックするだけで、Apache Kafka のデプロイベストプラクティスに基づく設定を備えた可用性の高い Apache Kafka クラスターを作成できます。Amazon MSK は、Apache Kafka クラスターを自動的にプロビジョニングして実行します。Amazon MSK は、クラスターの状態を常時監視し、アプリケーションのダウンタイムなしで異常なノードを自動的に交換します。さらに、Amazon MSK は保管時のデータを暗号化することで Apache Kafka クラスターを保護します。

メリット

完全互換

Amazon MSK は、Apache Kafka の実行を管理を自動で行います。これにより、アプリケーションコードを変更しなくても、AWS で既存の Apache Kafka アプリケーションを簡単に移行して実行することができるようになります。Amazon MSK を使用することで、オープンソースの互換性を維持し、使い慣れたカスタムツールやおよびコミュニティで構築されたツール (ストリームのレプリケーションを提供する MirrorMaker など) を使用し続けることができます。

完全マネージド型

Amazon MSK では、Apache Kafka 環境を管理する運用上のオーバーヘッドについて心配しなくても、ストリーミングアプリケーションの作成に集中できます。Amazon MSK は、Apache Kafka クラスターと Apache ZooKeeper ノードのプロビジョニング、設定、メンテナンスを自動的に管理します。Amazon MSK では、主要な Apache Kafka パフォーマンスメトリクスも AWS コンソールに表示されます。

高い可用性

Amazon MSK は、Apache Kafka クラスターを作成し、AWS リージョン内で マルチ AZ レプリケーションを提供します。Amazon MSK はクラスターの状態を常時監視し、コンポーネントで障害が発生した場合は自動的に交換します。

高い安全性

Amazon MSK は、VPC ネットワーク分離、コントロールプレーン API 認証用の AWS IAM、rest で暗号化、転送データの TLS 暗号化、TLS ベースの証明書認証、および Apache Kafka アクセスコントロールリスト (ACL) 互換性を含む Apache Kafka クラスター用の複数レベルのセキュリティを提供します。

お客様導入事例

SkipTheDishes
Malmberg
Dealer.com
Bench Accounting
Bench Accounting
お客様導入事例 »

仕組み

Apache Kafka は、データストアにストリーミングデータを生成するアプリケーション (プロデューサー) と、データストアからストリーミングデータを使用するアプリケーション (コンシューマー) を切り離すストリーミングデータストアです。組織では、ストリーミングデータを継続的に分析して対応するアプリケーションのデータソースとして Apache Kafka を使用します。

Amazon MSK コンソールで数回クリックするだけで、Amazon MSK により Apache Kafka クラスターがプロビジョニングされて Apache Kafka のアップグレードが管理されるため、Apache Kafka の最も安全で高速なバージョンを常に使用することができます。クラスターを設定すると、アプリケーションはプロデューサーからトピックにデータをストリーミングできます。トピックでは、このデータがコンシューマーによりリアルタイムで読み取られます。

Amazon MSK の仕組みの図

Amazon MSK の詳細について学習するには、オンラインセミナーに参加してください。

Amazon MSK の利用を開始する

Amazon MSK クラスターのセットアップ
Amazon MSK クラスターのセットアップ

AWS にサインアップし、ライブラリとツールをダウンロードしてください。

入門ガイドを見る
入門ガイドを見る

Amazon MSK で Apache Kafka クラスターをセットアップする方法については、このステップバイステップガイドを参照してください。

Apache Kafka クラスターの実行
Apache Kafka クラスターの実行

Amazon MSK で Apache Kafka クラスターを実行し始めます。Amazon MSK コンソールにログインします。