この AWS ソリューション実装では、どのようなことが可能ですか?

バッチデータとリアルタイムデータのストリーミングレポートを利用して、多くの組織が長期的なビジネストレンドに関する戦略的かつ実用的なインサイトを得ています。ビッグデータのユースケースで継続的に生成される新しい動的データを用いたストリーミングデータ処理を利用するお客様が増えています。ストリーミングデータは、レポートの作成、しきい値に基づくアクションの実行、または機械学習アルゴリズムの適用など、より高度な形式でのデータ分析を行う際に使用します。

Spark Streaming を用いたリアルタイム分析のソリューションは、ビジネスインテリジェンスアーキテクチャやビッグデータアーキテクチャの機能を使って、リアルタイムデータとバッチデータの両方を簡単に取り込み、保存、処理、分析するために必要な AWS のサービスを自動的に設定します。この AWS ソリューションは、Apache Spark Streaming と Amazon Kinesis を活用する AWS クラウドに、可用性、安全性、柔軟性、コスト効率がいずれも高いストリーミングデータ分析のアーキテクチャをデプロイします。次のセクションは、AWS クラウドでのアーキテクチャ、ストリーミングデータ、およびデータ分析の基本的な知識をお持ちであることを前提としています。

AWS ソリューション実装の概要

このソリューションは、AWS でバッチデータとリアルタイムデータの処理アーキテクチャを自動的に構成します。Spark Streaming を用いたリアルタイム分析ソリューションは、カスタム Apache Spark Streaming アプリケーションをサポートするように設計されており、Amazon EMR を利用してスケーラブルな Amazon Elastic Compute Cloud (Amazon EC2) インスタンス全体で大量のデータを動的に処理します。下の図はリアルタイム分析のアーキテクチャを示しています。ソリューションの実装ガイドと付属の AWS CloudFormation テンプレートを利用すれば、数分でデプロイできます。

Spark Streaming を用いたリアルタイム分析 | アーキテクチャ図
 クリックして拡大

Spark Streaming を用いたリアルタイム分析のソリューションアーキテクチャ

このソリューションは、1 つのパブリックサブネットと 1 つのプライベートサブネットを持つ Amazon Virtual Private Cloud (Amazon VPC) ネットワークをデプロイします。パブリックサブネットには、NAT ゲートウェイと要塞ホストが含まれています。プライベートサブネットは、Apache Zeppelin を使用して Amazon EMR クラスターをホストします。

カスタムの Spark Streaming アプリケーションを使用するか、AWS が提供するデモアプリケーションをデプロイして、サンプルのデータ処理環境を起動します。アプリケーションは Amazon EMR クラスターにデプロイされます。

Amazon Kinesis Data Streams はデータソースからデータを収集し、NAT ゲートウェイを介して Amazon EMR クラスターにデータを送信します。Spark Streaming アプリケーションは、データを処理した後、Amazon S3 バケットにデータを保存します。

Spark Streaming を用いたリアルタイム分析

バージョン 1.1.0
最終更新日: 2020 年 4 月
著者: AWS

見積りデプロイ時間: 15 分

下のボタンをクリックして、ソリューションの更新を登録してください。

注: RSS 更新を購読するには、使用しているブラウザで RSS プラグインを有効にする必要があります。 

このソリューション実装はお役に立ちましたか?
フィードバックを送る 

機能

Spark Streaming を用いたリアルタイム分析のリファレンス実装

Spark Streaming を用いたリアルタイム分析ソリューションは、AWS が提供するリファレンス実装です。リアルタイムデータとバッチデータの処理を数分で開始するために必要な AWS サービスを自動的にプロビジョニングして構成します。

Spark Streaming アプリケーション

このソリューションは、Java または Scala で作成された独自のアプリケーションを使用するように設計されていますが、テスト目的でデプロイできるデモアプリケーションも含まれています。

Apache Zeppelin のサポート

このソリューションは、インタラクティブなデータ分析用のウェブベースのノートブックである Apache Zeppelin を活用して、顧客がリアルタイムデータとバッチデータの両方を視覚化できるようにします。
アイコンを作成する
自分でソリューションをデプロイする

よくみられるアーキテクチャ上の問題に関して答えを知るため、AWS ソリューション実装のライブラリを閲覧する。

詳細はこちら 
APN パートナーを見つける
APN パートナーを見つける

サービスの開始をサポートする AWS 認定コンサルティングパートナーとテクノロジーパートナーを見つけましょう。

詳細はこちら 
アイコンについて調べる
ソリューションコンサルティングサービスについて調べる

ソリューションをデプロイし、AWS により審査済みのサポートを受けるため、コンサルティングサービスのポートフォリオを閲覧する。

詳細はこちら