Amazon Managed Streaming for Apache Kafka (MSK) が大阪リージョンでご利用可能になりました

みなさん、こんにちは。シニアエバンジェリストの亀田です。

Amazon Managed Streaming for Apache Kafka (MSK) が大阪リージョンでご利用可能になりましたのでお知らせいたします。従来大阪リージョンではストリーミングデータ処理基盤として Amazon Kinesis が提供されていましたが、Amazon MSK を用いることで、すでに Apache Kafka をお使いのエンジニアの方は、慣れ親しんだツールを用いたストリーミング処理を AWS のマネージドサービスで実現させることが可能となります。

Amazon Managed Streaming for Apache Kafka (MSK)

Amazon MSK はフルマネージド Apache Kafka により、ストリーミングデータの取り込みと処理をリアルタイムで簡単に行うことができます。オープンソースで安全性の高い Apache Kafka クラスターを複数のアベイラビリティーゾーン (AZ) に分散して提供し、耐障害性と可用性の高いストリーミングストレージを実現します。ストリーミングデータの処理にはリアルタイム性と高い可用性が求められるケースが多くありますが、MSK では、複数のアベイラビリティーゾーンに分散され (デフォルトでは 3 つ) クラスターのインフラストラクチャと Apache Kafka ソフトウェアの問題を検出して対応する自動システムによってサポートされています。コンポーネントが故障しても、Amazon MSK が自動的に交換するため、アプリケーションのダウンタイム発生を防ぐことができます。取り込んだデータは追加料金なしで、自動でAZをまたいでレプリケーションされ、AWS Key Management Service と連携し暗号化が可能です。

Apache Kafka の実行、クラスタータスクの調整、クラスターを操作するリソースの状態の維持には、Apache ZooKeeper のインストールと設定が必要となりますが、MSK をご利用いただくと、数回クリックするだけで、Apache Kafka のデプロイのベストプラクティスに従うフルマネージド型の Apache Kafka クラスターを作成したり、カスタム設定を使用して独自のクラスターを作成したりすることができます。必要な設定を作成すると、Amazon MSK により Apache Kafka クラスターオペレーションと Apache ZooKeeper ノードが自動的にプロビジョニング、設定、管理されます。

取り込まれたデータは、Amazon EC2、AWS Lambda、Amazon Kinesis Data Analytics 等でのデータ解析をおこなうこととなります。Kinesis Data Analytics ではフルマネージド型の Apache Flink をサポートしており、使い慣れたツールでのデータ解析作業が可能です。

MSK ではさらに、Apache Zeppelin をサポートしており、 ストリーミング処理ロジックを Apache Zeppelin ノートブックで表現し、ミリ秒単位でデータストリームの処理も可能です。

詳しくはこちらをご覧ください。

– シニアエバンジェリスト 亀田