Amazon MSK 向けストリーミングデータソリューション

スケーラブルで耐久性の高いリアルタイムデータストリーミングサービスを使用して、継続的にデータをキャプチャして処理する
実装ガイドを表示

概要

Amazon MSK 向けストリーミングデータソリューションでは、データプロデューサーからの大量のデータを処理できる非常にスケーラブルなストレージサービスである Amazon Managed Streaming for Apache Kafka (Amazon MSK) を使用してストリーミングデータをキャプチャできます。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。

さらに、ストリーミングデータには、次のようなさまざまなデータが含まれます。モバイルアプリケーションやウェブアプリケーションを使用する顧客によって生成されるログファイル。e コマースでの購入内容。ゲーム内でのプレイヤーのアクティビティ。ソーシャルネットワーク、証券取引所の立会場、または地理空間サービスからの情報。データセンター内の接続されたデバイスや計器からのテレメトリ。

この AWS のソリューションでは、4 種類の AWS CloudFormation テンプレートが用意されていて、それぞれ、データがプロデューサー、ストリーミングストレージ、コンシューマー、送信先を通過します。Amazon Kinesis 向けストリーミングデータソリューションと同様に、テンプレートは、ダッシュボードとアラームを使用して、機能をモニタリングし、データをセキュリティで保護するためのベストプラクティスを適用するように設定されています。

この AWS ソリューションのユースケース
  • ヘッドライン
その他…

メリット

自動化された設定
ストリーミングデータを簡単にキャプチャ、保存、処理、配信するために必要な AWS のサービスを自動的に設定します。
4 つのテンプレートオプション
4 つの異なる AWS CloudFormation テンプレートオプションから選択します。本番稼働環境の新しいサービスの組み合わせをテストし、既存のアプリケーションを改善します。
リアルタイムのユースケース
大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など。
カスタマイズ可能なソースコード
ソリューションのボイラープレートコードをカスタマイズしてから、モニタリング機能を使用して、テストから本番環境にすばやく移行します。

技術的な詳細情報

このアーキテクチャは、実装ガイドとそれに付属する AWS CloudFormation テンプレートを使用して自動的にデプロイできます。

関連コンテンツ

AWS アーキテクチャブログ
アーカイブ、再生、分析のための Amazon MSK バックアップ

この投稿では、MSK のトピックを S3 にバックアップするために使用できるパターンとソリューションについて説明します。これにより、MSK の長期的なデータ保持設定を減らすことができます。一部のお客様は、データ分析や機械学習のワークロードのために、MSK に長期データを保存しています。S3 でトピックデータをオフロードし、分析/ML に S3 を使用することで、このアーキテクチャを簡素化するパターンを共有します。

ブログを読む 
トレーニング
Data Analytics Fundamentals

このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。

今すぐ登録 

このページはお役に立ちましたか?

 フィードバック