この AWS ソリューション実装では、どのようなことが可能ですか?

アマゾン ウェブ サービス (AWS) のお客様の多くが、俊敏性と柔軟性の面で従来のデータ管理システムを超える、データストレージおよび分析ソリューションを必要としています。幅広いソースに由来する複数のデータタイプを管理し、構造化データまたは非構造化データとして集中リポジトリに保存できるデータレイクは、データの保存と分析の新たな方法としてますます企業に普及しています。

AWS クラウドには、お客様が安全かつ柔軟で費用対効果に優れたデータレイクを実装するために必要な構成要素の多くが用意されています。この中には、構造化と非構造化データの両方の取り込み、保存、検索、処理、分析に役立つ AWS マネージドサービスが含まれます。お客様のデータレイク構築をサポートするために、AWS ではデータレイクソリューションを利用できます。これは、AWS クラウドでの高可用性とコスト効率の高いデータレイクアーキテクチャをデプロイし、データセットの検索とリクエストのためのユーザーフレンドリーなコンソールを持つ、自動化されたリファレンス実装のデータレイクソリューションです。

このソリューションのバージョン 2.2 では、最新の Node.js ランタイムを使用します。バージョン 2.1 は、Node.js 8.10 ランタイムを使用します。これは、2019 年 12 月 31 日にサポートが終了します。バージョン 2.2 にアップグレードするには、ソリューションを新しいスタックとしてデプロイする必要があります。詳細については、デプロイガイドを参照してください。

AWS ソリューション実装の概要

AWS では、企業やその他外部のユーザー間で特定のデータのサブセットを簡単にタグ付け、検索、共有、変換、分析、制御するために必要な AWS の中核となるサービスが自動的に構成されるデータレイクソリューションを用意しています。ソリューションでは、ユーザーがビジネスのニーズに合わせて利用可能なデータセットの検索や閲覧ができるコンソールがデプロイされます。Microsoft Active Directory と統合できるバージョンのソリューションをローンチ可能にするフェデレーションテンプレートもソリューションに含まれます。

下の図はデータレイクのアーキテクチャを示しています。ソリューションの実装ガイドと付属の AWS CloudFormation テンプレートを利用すれば、数分でデプロイできます。

データレイクソリューション | アーキテクチャ図
 クリックして拡大する

AWS でのデータレイクのアーキテクチャ

ソリューションの中核となる AWS のサービスは、AWS CloudFormation テンプレートによって設定されます。これには、AWS Lambda マイクロサービス (関数) のセット、Amazon Elasticsearch による堅牢な検索機能、Amazon Cognito によるユーザー認証、AWS Glue によるデータ変換、Amazon Athena による分析などが含まれています。

このソリューションでは、組織のデータセットの永続的なカタログの管理に Amazon S3 の持つ安全性、耐久性、スケーラビリティが活用され、対応するメタデータの管理には Amazon DynamoDB が使用されます。データセットのカタログ化が完了すると、属性と記述タグを検索に利用できるようになります。ユーザーはソリューションコンソールから利用できるデータセットの検索とブラウズを実行でき、アクセスが必要なデータのリストを作成できます。

このソリューションでは、ユーザーが選んだデータセットを記録し、必要なコンテンツへの安全なアクセスリンクを含んだマニフェストファイルをチェックアウト時に生成します。

AWS 上でのデータレイク

バージョン 2.2
最終更新日: 2019 年 12 月
著者: AWS  

見積りデプロイ時間: 30 分

下のボタンをクリックして、ソリューションの更新を登録してください。

注意: RSS 更新を購読するには、使用しているブラウザで RSS プラグインを有効にする必要があります。 

このソリューション実装はお役に立ちましたか?
フィードバックを送る 

特徴

データレイクのリファレンス実装

すぐに使えるデータレイクソリューションをそのまま利用するか、データ管理、データ検索、データ処理の独自のニーズに合わせてカスタマイズできるリファレンス実装として使用します。

データアクセスの柔軟性

署名付き Amazon S3 URL を利用するか、適切な AWS Identity and Access Management (IAM) ロールを使用すると、Amazon S3 内のデータベースに制御付きで直接アクセスできます。

フェレデーションサインイン

オプションで、Microsoft Active Directory フェデレーションサービス (AD FS) などの SAML ID プロバイダー (IdP) を通じたユーザーのサインインを可能にすることができます。

マネージドストレージレイヤー

マネージド型の Amazon S3 バケット内のデータの保存と取り出しを保護および管理し、ソリューション特有の AWS Key Management Service (KMS) キーを使用して保管中のデータを暗号化します。

コマンドラインインターフェイス

提供されている CLI または API を使用してデータレイクアクティビティを簡単に自動化したり、このソリューションを既存のデータオートメーションに統合したりして、データセットのイングレス、送信、および分析を行います。

ユーザーインターフェイス

このソリューションは、Amazon S3 にホストされ Amazon CloudFront によって配信される、ウェブベースの直感的なコンソール UI を自動的に作成します。コンソールにアクセスすると、データレイクユーザー、データレイクポリシー、データパッケージの追加と削除、データパッケージの検索、追加分析用データセットのマニフェストの作成を簡単に管理できます。
アイコンを作成する
自分でソリューションをデプロイする

よくみられるアーキテクチャ上の問題に関して答えを知るため、AWS ソリューション実装のライブラリを閲覧する。

詳細はこちら 
APN パートナーを見つける
APN パートナーを見つける

サービスの開始をサポートする AWS 認定コンサルティングパートナーとテクノロジーパートナーを見つけましょう。

詳細はこちら 
アイコンについて調べる
ソリューションコンサルティングサービスについて調べる

ソリューションをデプロイし、AWS により審査済みのサポートを受けるため、コンサルティングサービスのポートフォリオを閲覧する。

詳細はこちら