Amazon Web Services ブログ

Category: AWS Lake Formation

メインとなる AWS Lake Formation アカウントから、複数のアカウントのデータにアクセスおよび管理を行う

 この記事では、中心的な AWS Lake Formation アカウントが、複数のアカウントにあるデータのアクセスや管理を行う方法を解説していきます。このウォークスルーでは、異なるアカウントにあるデータを使い、マスターとなる Lake Formation アカウントにある一元管理されたカタログを示します。 記事の中では、別のアカウントにあるカタログの読み出し、書き込み、更新、およびデータへのアクセスを行う許可を、Lake Formation サービスから付与する方法を説明します。 また、2 つのデータセットを使って、世界中から集めたニュース (gdelt) と、Amazon の製品が受けたレビューの数 (amazonreviews) との間に 相関性 が存在するかを判断していきます。 前提条件 今回の例では、それぞれ S3 バケットとアカウント番号がある、3 つのアカウントを使用する必要があります。 環境の設定 3 つのアカウントは次なようなものです。 Account Products (AP) – これは、Amazon の製品が受けたレビューを保存するためのアカウントです。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Account External (AE) – このアカウントは、100 を超える言語による放送、印刷物、ウェブニュースを世界中から集めモニタリングします。これは、毎日毎秒のように国際社会を動かし続けている、人々、場所、組織、数、テーマ、情報ソース、感情、引用、画像、出来事などを抽出します。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Main Account (MA) – メインとなるアカウントです。他の 2 つのアカウントからのデータを集約します。今回は、このアカウントに Lake Formation を定義します。このアカウントには、製品データと国際ニュース用のアカウントへのアクセス権限があります。 次の図は、全体的なアーキテクチャを示しています。 […]

Read More

AWS Lake Formation でメタデータを見つける: パート 2

データレイクは、構造化データおよび非構造化データの両方を集計、保存、分析する方法としてますます定評が高まっています。AWS Lake Formation を使用すると、データレイクの設定、セキュリティ保護、管理が簡単になります。 このシリーズのパート 1 では、Lake Formation を使用してデータレイクを作成および探索する方法を学びました。この投稿では、コンソールにある Lake Formation のメタデータ検索機能を使ってのデータ検出、さらに列のアクセス許可が制限するメタデータ検索結果について説明します。 前提条件 この記事では、以下が必要です。 AWS アカウント。 Amazon S3、AWS Glue、AWS Lake Formation にアクセスできる AWS Identity and Access Management (IAM) ユーザー。 コンソールでのメタデータ検索 この投稿では、Lake Formation コンソールが提供するカタログ検索機能のデモを行います。 分類による検索 キーワードによる検索 タグによる検索: 属性 複数の フィルター検索 分類による検索 メタデータカタログ検索機能を使用して、データレイク内のすべてのテーブルを検索します。2 つは名前 amazon_reviews を共有しますが、シミュレートされた「prod」と「test」データベースに別々に属します。3 つ目は trip-data です。 Lake Formation コンソールの [Data catalog] で、[Tables] をクリックします。 検索バーの […]

Read More

AWS Lake Formation でメタデータを見つける: パート 1

データレイクは、構造化データと非構造化データの両方を保存および分析する単一のリポジトリを作成する方法として、ますます定評が高まっていますAWS Lake Formation を使用すると、データレイクの設定、セキュリティ保護、管理が簡単になります。この記事では、Lake Formation を使用したデータレイクの作成と探索について説明します。 データレイクの作成 o  データレイクへのデータの追加 o  カタログデータベースの作成 o  Amazon S3 からカタログデータベースへのテーブルの追加 カタログ内でのメタデータの編集および追加 o  標準メタデータの編集 o  カスタムメタデータの追加 前提条件 この記事では、以下が必要です。 AWS アカウント。 Amazon S3、AWS Glue、AWS Lake Formation にアクセスできる AWS Identity and Access Management (IAM) ユーザー。 データレイクを作成する AWS Lake Formation コンソールの左側のナビゲーションペインで、[Register and ingest]、[Data lake locations] を選択します。単一の S3 バケットを選択して、データレイクで複数の独立したデータソースを保存します。詳細については、AWS Lake Formation とはを参照してください。 データレイクにデータを追加する これで、Lake Formation […]

Read More