Amazon Managed Streaming for Apache Kafka
フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
Amazon MSK とは?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka のインフラストラクチャと運用を管理するストリーミングデータサービスであり、デベロッパーや DevOps/プラットフォームエンジニアが Apache Kafka の運用のエキスパートとならなくても、AWS で Apache Kafka アプリケーションおよび Apache Kafka Connect コネクタをより簡単に実行できるようにします。Amazon MSK は Apache Kafka クラスターを運用、維持、スケールし、すぐに使用できるエンタープライズプラスのセキュリティ機能を提供します。また、ストリーミングデータアプリケーションを迅速に開発するための AWS 統合が組み込まれています。仕組みの詳細についてはこちらをご覧ください。
メリット
従量課金制により、Apache Kafka ワークロードのパフォーマンスを最も低い料金で実現します。 Amazon MSK Express ブローカーは、標準の Apache Kafka ブローカーと比較して、ブローカーあたり最大 3 倍のスループットを提供し、最大 20 倍速くスケールし、回復速度を 90% 短縮できます。Express ブローカーは、ブローカーあたり最大 5 倍のパーティションをサポートしているため、パーティション制限のあるワークロードの料金パフォーマンスを最大 50% 向上させることができます。
マルチ AZ 配置およびインフラストラクチャの自動検出、軽減、復旧により、可用性と耐久性の低下に対する Apache Kafka ワークロードの回復性を向上させます。
可用性の高い Apache Kafka および Kafka Connect クラスターのプロビジョニング、設定、メンテナンスなどの運用上のオーバーヘッドを削減します。
他の AWS サービスとのフルマネージド型でノーコードの統合を使用するか、フルマネージド型の Kafka Connect でコネクタをホストすることで、アップストリームシステムからデータをシームレスに調達し、ダウンストリームシステムにデータを配信します。
ユースケース
Amazon MSK を使用してイベントをキャプチャし、ストリーミング処理ロジックを Apache Zepplin ノートブックで表現し、ミリ秒単位でデータストリームからインサイトを導き出します。
Amazon MSK と Apache Kafka のログ構造を使用して、リアルタイムで一元化された、プライベートにアクセス可能なデータバスを形成します。
アプリケーションやビジネスインフラストラクチャで発生するデジタルな変化をリアルタイムで取り込み、対応します。
