Amazon Web Services (AWS) のお客様の多くが、俊敏性と柔軟性の面で従来のデータ管理システムを超える、データストレージおよび分析ソリューションを必要としています。幅広いソースに由来する複数のデータタイプを管理し、構造化データまたは非構造化データとして集中リポジトリに保存できるデータレイクは、データの保存と分析の新たな方法としてますます企業に普及しています。

AWS クラウドには、お客様が安全かつ柔軟で費用対効果に優れたデータレイクを実装するために必要な構成要素の多くが用意されています。この中には、構造化と非構造化データの両方の取り込み、保存、検索、処理、分析に役立つ AWS マネージドサービスが含まれます。お客様のデータレイク構築をサポートするために、AWS は AWS でのデータレイクを提供しています。これは、AWS クラウドでの高可用性とコスト効率の高いデータレイクアーキテクチャをデプロイし、データセットの検索とリクエストのためのユーザーフレンドリーなコンソールを備えています。

概要

AWS でのデータレイクでは、企業全体や外部ユーザーとの間で特定のデータサブセットのタグ付け、検索、共有、変換、分析、制御を簡単に行うために必要な、AWS の中核サービスを自動的に構成できます。このガイダンスでは、ユーザーがビジネスのニーズに合わせて利用可能なデータセットの検索や閲覧ができるコンソールがデプロイされます。Microsoft Active Directory と統合できるバージョンのソリューションをローンチ可能にするフェデレーションテンプレートもそれに含まれます。

下の図表は、GitHub にあるサンプルコードを使って構築できるデータレイクアーキテクチャを示しています。

データレイクソリューション | アーキテクチャ図
 クリックして拡大

AWS でのデータレイクアーキテクチャ

このコードでは、AWS Lambda マイクロサービス (関数) のセット、 Amazon OpenSearch Service (Amazon Elasticsearch Service の後継サービス) による堅牢な検索機能、 Amazon Cognito によるユーザー認証、AWS Glue によるデータ変換、Amazon Athena による分析が設定されています。

AWS でのデータレイクでは、組織のデータセットの永続的なカタログの管理に Simple Storage Service (Amazon S3) の持つ安全性、耐久性、スケーラビリティが活用され、対応するメタデータの管理には Amazon DynamoDB が使用されます。データセットのカタログ化が完了すると、属性と記述タグを検索に利用できるようになります。ユーザーはコンソールから利用できるデータセットの検索とブラウズを実行でき、アクセスが必要なデータのリストを作成できます。ユーザーが選んだデータセットを記録し、必要なコンテンツへの安全なアクセスリンクを含んだマニフェストファイルをチェックアウト時に生成します。

AWS 上でのデータレイク

バージョン 2.2
最終更新日: 2021 年 9 月
作成者: AWS 

このガイダンスは役に立ちましたか?
フィードバックを送る 

特徴

データアクセスの柔軟性

署名付き Simple Storage Service (Amazon S3) URL を利用するか、適切な AWS Identity and Access Management (IAM) ロールを使用すると、Simple Storage Service (Amazon S3) 内のデータベースに制御付きで直接アクセスできます。

マネージドストレージレイヤー

マネージド型の Simple Storage Service (Amazon S3) バケット内のデータの保存と取り出しを保護および管理し、ソリューション特有の AWS Key Management Service (KMS) キーを使用して保管中のデータを暗号化します。

フェデレーションサインイン

オプションとして、Microsoft Active Directory フェデレーションサービス (AD FS) などの SAML ID プロバイダー (IdP) を通じて、ユーザーのサインインを許可することができます。

コマンドラインインターフェイス

提供されている CLI または API を使用してデータレイクアクティビティを簡単に自動化したり、このガイダンスを既存のデータオートメーションに統合したりして、データセットの入出力、および分析を行います。

ユーザーインターフェイス

AWS でのデータレイクは、Simple Storage Service (Amazon S3) にホストされ Amazon CloudFront によって配信される、ウェブベースの直感的なコンソール UI を提供します。コンソールにアクセスすると、データレイクユーザー、データレイクポリシー、データパッケージの追加と削除、データパッケージの検索、追加分析用データセットのマニフェストの作成を簡単に管理できます。
アイコンを作成する
自分でソリューションをデプロイする

よくみられるアーキテクチャ上の問題に関して答えを知るため、AWS ソリューション実装のライブラリを閲覧する。

詳細はこちら 
APN パートナーを見つける
APN パートナーを見つける

サービスの開始をサポートする AWS 認定コンサルティングパートナーとテクノロジーパートナーを見つけましょう。

詳細はこちら 
アイコンについて調べる
ソリューションコンサルティングサービスについて調べる

ソリューションをデプロイし、AWS により審査済みのサポートを受けるため、コンサルティングサービスのポートフォリオを閲覧する。

詳細はこちら