Amazon Web Services ブログ

Category: AWS Lake Formation

AWS Lake Formation – セルレベルのセキュリティと自動圧縮による Governed Tables の一般提供を開始

データレイクは、データサイロを解消し、さまざまなタイプの分析を統合して一元化されたリポジトリにまとめるのに役立ちます。このリポジトリには、すべての構造化データと非構造化データを格納できます。しかし、データレイクのセットアップと管理には、手作業による複雑で時間のかかるタスクが多く伴います。AWS Lake Formation を使用すると、安全なデータレイクを数週間や数か月ではなく数日で簡単にセットアップできます。 2021 年 11 月 30 日(米国時間)、データの読み込み、ストレージの最適化、データレイクへのアクセス管理をさらに簡素化するいくつかの新機能の一般提供を開始します。

Read More

小売業におけるアダプティブ分析: 顧客の行動とエンゲージメントに影響を与える

小売業界において、日常業務におけるデータの重要性に異論のある方はいないでしょう。バッチレポートから意思決定支援、ビジネスインテリジェンスシステムまで、小売の意思決定における運用データの進化は非常に多岐にわたります。今日、アダプティブ分析プラットフォームは、小売業者が次のことができるよう、業界のイノベーションを推進しています。 ビジネスにおける重要なシグナルを検出します。 これらのシグナルの現在の意味と将来の予測を導き出します。 データドリブンな顧客、製品、マーケティング戦略で対応します。 しかし、アダプティブ分析プラットフォームを構築するためには、小売業の経営者が直面する多くの戦略的課題があります。例えば、急速に変化する買い物客の影響や行動のトリガー、人口動態の変化、COVID-19 などの世代別市場レベルの影響、主要な経済圏の景気低迷といった課題や、お客様対応とオペレーション業務を効果的に行うために、予測に基づいた洞察が求められる小売業の職種が一層増えていることなどが挙げられます。

Read More

AWS Lake Formation が大阪リージョンでご利用いただけます

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 AWS Lake Formation が大阪リージョンでご利用いただけるようになりましたのでお知らせいたします。 AWS Lake Formation Lake Formation は、安全なデータレイクを数日で簡単にセットアップすることができるサービスです。データレイクとは、安全な一元的データリポジトリであり、すべてのデータが元の形式と分析用に処理された形式の両方で保存されます。データレイクを使用することにより、組織間で個別にデータを管理するといったデータのサイロ化が解消され、異なる種類のデータや異なるテクノロジーによる分析を組み合わせることが可能になり、データから価値を見出す可能性を高めます。 データレイクの構築には、各種ソースからのデータの読み込み、データ配置場所の設定、SQL処理用のパーティション設定、暗号化設定、それぞれのデータ配置場所に権限を適切に設定する、など複雑で時間のかかる手作業のタスクが数多く必要となります。ほかにも、移行に伴う作業の明確化およびモニタリング、列指向形式へのデータの再編成、アクセスコントロールに関する設定、冗長データの重複排除、連結レコードのマッチング、データセットへのアクセス許可付与、経時的なアクセス監査などが挙げられます。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 5: 行レベルのアクセス制御でデータレイクを保護する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 と AWS Lake Formation の Principal Product Manager である Sanjay Srivastava によって投稿されたものです。 お客様は、組織全体のデータアクセスを民主化する戦略の中核をなすデータレイクをますます検討するようになってきています。データレイクを使用すると、さまざまな形式で多数のソースから送信されるペタバイトおよびエクサバイトのデータを扱うことができ、ユーザーは様々な分析ツールや機械学習ツールからアクセスできるようになります。データを保護し、データを必要とする人にのみアクセス権を付与するには、きめ細かなアクセス制御が必要です。 AWS Lake Formation は、データレイクを構築、保護、管理し、データレイク内のデータに対するアクセス制御を提供するフルマネージド型のサービスです。Lake Formation の行レベルの権限を使用すると、データコンプライアンスとガバナンスポリシーに基づいて、特定の行へのアクセスを制限できます。また、Lake Formation は、どのプリンシパルがどのデータにアクセスしたのか、いつ、どのサービスを通じてアクセスしたかを特定することで、一元的な監査とコンプライアンスレポートを提供します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 4:セルレベルと行レベルのセキュリティを実装する

本記事は Amazon Web Services, Senior Analytics Specialist である Deenbandhu Prasad と Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で AWS Lake Formation のトランザクション、セルレベルと行レベルのセキュリティ、およびアクセラレーションのプレビューを発表しました。このシリーズのパート 1、 パート 2、および パート 3 では、governed table のセットアップ、ストリーミングおよびバッチデータの追加、および ACID トランザクションの使用方法について説明しました。この記事では、セルレベルと行レベルのセキュリティに焦点を当て、特定の行へのアクセスを制限してビジネスニーズを実現する方法について説明します。

Read More

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More

データメッシュで作る消費財企業向けモダンデータレイクのアーキテクチャ

COVID-19 パンデミック以来、世界中でオンラインショッピングと消費者向け直販(Direct To Consumer; DTC)への劇的なシフトが見られます。消費財(Consumer Packaged Goods; CPG)業界がどの業界よりもこの変化を感じていることは間違いないでしょう。Statista 社によると「小売ウェブサイトへの訪問者数は全世界で、2020年1月の160億7000万回から、2020年6月には約 220 億回に増加」しました。ウェブサイトへのトラフィックが半年間で27% 増加したことで、データ企業、特に消費財企業にとって管理すべきデータ量が急激に増えました。 これまで消費財企業の多くは消費者と直接的な接点を持ってきませんでした。そのためデータは、小売業者との間の発注や出荷といった内部情報など最小限しかなかったのです。今や優れた消費財企業はエンドユーザーである消費者の行動と、検索分析やソーシャルメディアにおけるセンチメントといった外部データをトラッキングしています。このブログ投稿では、データを大規模に管理するというテーマを深く掘り下げ、なぜ消費財企業がデータメッシュによるデータ管理という新しいアプローチを検討する必要があるのか、その理由について解説します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 3: governed table の ACID トランザクションを使用する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 Amazon Simple Storage Service(Amazon S3)のデータレイクは、あらゆるエンタープライズデータを扱うデフォルトのリポジトリになり、さまざまな分析ツールや ML ツールからクエリを実行する多くのユーザーにとって一般的な選択肢になっています。多くの場合、複数のソースからデータをデータレイクに継続的に取り込み、同時に多くの分析ツールからデータレイクに対してクエリを実行します。以前は、一貫性のある結果を得るためには、データの整合性を維持するためにカスタムパイプラインを構築し、その結果としてツールにデータが使用可能になるまでに遅延が発生していました。 AWS Re: Invent 2020 で AWS Lake Formationのトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表 しました。以前の記事では、Lake Formation の governed table を設定 (part1) し、データレイクへの取り込みをストリーミングすることに焦点を当てました (part2)。この記事では、原子性、一貫性、分離性、耐久性(ACID)トランザクションに焦点を当てています。S3 上の Lake Formation governed table で ACID トランザクションがどのように機能するかを説明します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 2: ストリーミングデータソース用の governed table を作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で、AWS Lake Formation のトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表しました。 このシリーズのパート 1 では、governed table を作成して、オブジェクトを追加する方法を説明しました。この記事では、この例を拡張し、Lake Formation トランザクションを使用して governed table にストリーミングデータを取り込む方法を示します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 1: governed tableを作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 数千人ものお客様が Amazon Simple Storage Service でデータレイクを構築しています。AWS Lake Formation を使用すると、数か月ではなく数日で簡単にデータレイクを構築できます。しかし、データレイクにはまだ対処すべき困難な課題がいくつかあります: データレイクでのストリーミングの更新と削除(データベースレプリケーションなど)をサポートし、GDPR や CCPA などのプライバシー規制をサポート テーブルレベルまたは列レベルのアクセス制御だけでなく、行レベルのアクセス制御により、きめ細かでセキュアな共有を実現 Amazon S3 のさまざまなテーブルやファイルのレイアウトを最適化し、分析のパフォーマンスを向上 AWS re:Invent 2020 で、Lake Formation のトランザクション、行レベルのセキュリティ、高速化のプレビューを発表しました。これらの機能は新しい API から利用でき、行レベルのセキュリティによって Lake Formation によるガバナンスを拡張し、データレイク上でのトランザクションを提供します。

Read More