Amazon Web Services ブログ

Category: AWS Lake Formation

AWS Lake Formation が大阪リージョンでご利用いただけます

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 AWS Lake Formation が大阪リージョンでご利用いただけるようになりましたのでお知らせいたします。 AWS Lake Formation Lake Formation は、安全なデータレイクを数日で簡単にセットアップすることができるサービスです。データレイクとは、安全な一元的データリポジトリであり、すべてのデータが元の形式と分析用に処理された形式の両方で保存されます。データレイクを使用することにより、組織間で個別にデータを管理するといったデータのサイロ化が解消され、異なる種類のデータや異なるテクノロジーによる分析を組み合わせることが可能になり、データから価値を見出す可能性を高めます。 データレイクの構築には、各種ソースからのデータの読み込み、データ配置場所の設定、SQL処理用のパーティション設定、暗号化設定、それぞれのデータ配置場所に権限を適切に設定する、など複雑で時間のかかる手作業のタスクが数多く必要となります。ほかにも、移行に伴う作業の明確化およびモニタリング、列指向形式へのデータの再編成、アクセスコントロールに関する設定、冗長データの重複排除、連結レコードのマッチング、データセットへのアクセス許可付与、経時的なアクセス監査などが挙げられます。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 5: 行レベルのアクセス制御でデータレイクを保護する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 と AWS Lake Formation の Principal Product Manager である Sanjay Srivastava によって投稿されたものです。 お客様は、組織全体のデータアクセスを民主化する戦略の中核をなすデータレイクをますます検討するようになってきています。データレイクを使用すると、さまざまな形式で多数のソースから送信されるペタバイトおよびエクサバイトのデータを扱うことができ、ユーザーは様々な分析ツールや機械学習ツールからアクセスできるようになります。データを保護し、データを必要とする人にのみアクセス権を付与するには、きめ細かなアクセス制御が必要です。 AWS Lake Formation は、データレイクを構築、保護、管理し、データレイク内のデータに対するアクセス制御を提供するフルマネージド型のサービスです。Lake Formation の行レベルの権限を使用すると、データコンプライアンスとガバナンスポリシーに基づいて、特定の行へのアクセスを制限できます。また、Lake Formation は、どのプリンシパルがどのデータにアクセスしたのか、いつ、どのサービスを通じてアクセスしたかを特定することで、一元的な監査とコンプライアンスレポートを提供します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 4:セルレベルと行レベルのセキュリティを実装する

本記事は Amazon Web Services, Senior Analytics Specialist である Deenbandhu Prasad と Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で AWS Lake Formation のトランザクション、セルレベルと行レベルのセキュリティ、およびアクセラレーションのプレビューを発表しました。このシリーズのパート 1、 パート 2、および パート 3 では、governed table のセットアップ、ストリーミングおよびバッチデータの追加、および ACID トランザクションの使用方法について説明しました。この記事では、セルレベルと行レベルのセキュリティに焦点を当て、特定の行へのアクセスを制限してビジネスニーズを実現する方法について説明します。

Read More

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More

データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ

COVID-19 パンデミック以来、世界中でオンラインショッピングと消費者向け直販(Direct To Consumer; DTC)への劇的なシフトが見られます。消費財(Consumer Packaged Goods; CPG)業界がどの業界よりもこの変化を感じていることは間違いないでしょう。Statista 社によると「小売ウェブサイトへの訪問者数は全世界で、2020年1月の160億7000万回から、2020年6月には約 220 億回に増加」しました。ウェブサイトへのトラフィックが半年間で27% 増加したことで、データ企業、特に消費財企業にとって管理すべきデータ量が急激に増えました。 これまで消費財企業の多くは消費者と直接的な接点を持ってきませんでした。そのためデータは、小売業者との間の発注や出荷といった内部情報など最小限しかなかったのです。今や優れた消費財企業はエンドユーザーである消費者の行動と、検索分析やソーシャルメディアにおけるセンチメントといった外部データをトラッキングしています。このブログ投稿では、データを大規模に管理するというテーマを深く掘り下げ、なぜ消費財企業がデータメッシュによるデータ管理という新しいアプローチを検討する必要があるのか、その理由について解説します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 3: governed table の ACID トランザクションを使用する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 Amazon Simple Storage Service(Amazon S3)のデータレイクは、あらゆるエンタープライズデータを扱うデフォルトのリポジトリになり、さまざまな分析ツールや ML ツールからクエリを実行する多くのユーザーにとって一般的な選択肢になっています。多くの場合、複数のソースからデータをデータレイクに継続的に取り込み、同時に多くの分析ツールからデータレイクに対してクエリを実行します。以前は、一貫性のある結果を得るためには、データの整合性を維持するためにカスタムパイプラインを構築し、その結果としてツールにデータが使用可能になるまでに遅延が発生していました。 AWS Re: Invent 2020 で AWS Lake Formationのトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表 しました。以前の記事では、Lake Formation の governed table を設定 (part1) し、データレイクへの取り込みをストリーミングすることに焦点を当てました (part2)。この記事では、原子性、一貫性、分離性、耐久性(ACID)トランザクションに焦点を当てています。S3 上の Lake Formation governed table で ACID トランザクションがどのように機能するかを説明します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 2: ストリーミングデータソース用の governed table を作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で、AWS Lake Formation のトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表しました。 このシリーズのパート 1 では、governed table を作成して、オブジェクトを追加する方法を説明しました。この記事では、この例を拡張し、Lake Formation トランザクションを使用して governed table にストリーミングデータを取り込む方法を示します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 1: governed tableを作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 数千人ものお客様が Amazon Simple Storage Service でデータレイクを構築しています。AWS Lake Formation を使用すると、数か月ではなく数日で簡単にデータレイクを構築できます。しかし、データレイクにはまだ対処すべき困難な課題がいくつかあります: データレイクでのストリーミングの更新と削除(データベースレプリケーションなど)をサポートし、GDPR や CCPA などのプライバシー規制をサポート テーブルレベルまたは列レベルのアクセス制御だけでなく、行レベルのアクセス制御により、きめ細かでセキュアな共有を実現 Amazon S3 のさまざまなテーブルやファイルのレイアウトを最適化し、分析のパフォーマンスを向上 AWS re:Invent 2020 で、Lake Formation のトランザクション、行レベルのセキュリティ、高速化のプレビューを発表しました。これらの機能は新しい API から利用でき、行レベルのセキュリティによって Lake Formation によるガバナンスを拡張し、データレイク上でのトランザクションを提供します。

Read More

【資料&動画公開】AWSで実践!ビジネスを変革するデータ活用ソリューション

2021年3月25日に「AWSで実践!ビジネスを変革するデータ活用ソリューション 」というイベントを実施しました。蓄積されたデータをこれから活用されようとお考えの方向けのセミナーで、特に「簡単に始めていただける」という点にフォーカスして、AWSのソリューションアーキテクトよりご説明しましたた。 今回このセミナーの資料や動画が公開になりましたので、以下で紹介します。

Read More

【開催報告】AWS re:Invent Recap Analytics 〜新サービスアップデート&クイックデモ〜

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 2021年1月29日に、2020年 AWS re:Invent Recapシリーズのひとつとして、分析サービスのRecapセミナーを開催いたしました。2020年 AWS re:Invent では、AWSの分析サービスに関して、新しいサービスおよび多くのアップデートが発表されました。本セッションでは、新しく発表されたサービスやアップデートを中心に共有させていただくとともに、お客さまの課題や問題をどのように解決できるのか、クイックデモを交えてご紹介させていただきました。

Read More