Amazon Web Services ブログ

Category: AWS Glue

AWS Glue を使用した個人情報の検出・マスキング・編集および Amazon OpenSearch Service へのロード

大企業や中小企業を問わず、多くの組織がアマゾン ウェブ サービス(AWS)上で分析ワークロードの移行と近代化に取り組んでいます。AWS への移行にはさまざまな理由がありますが、主な理由の 1 つは、インフラストラクチャのメンテナンス、パッチ適用、モニタリング、バックアップなどに時間を費やす代わりに、フルマネージドサービスを利用できることです。リーダーシップと開発チームは、現在のインフラストラクチャのメンテナンスではなく、現在のソリューションの最適化や新しいユースケースの実験などにより多くの時間を費やすことができます。

AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築

AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。Step Functions では、失敗、中止、タイムアウトしたステートからワークフローを再実行できるようになりました。この投稿では、Step Functions のDistributed Map ステートを使用して、Amazon Relational Database Service (Amazon RDS) のテーブルからデータをエクスポートする ETL パイプラインジョブをご紹介します。その後、障害をシミュレートし、新しい失敗したステートから再実行する機能を使用して、障害が発生したタスクを障害発生地点から再起動する方法をデモンストレーションします。

AWS DMS、Amazon Kinesis、AWS Glue ストリーミング ETL ジョブを用いて Apache Hudi ベースのニアリアルタイムトランザクションデータレイクを構築し、Amazon QuickSight で可視化

最近、AWS Glueバージョン4.0でストリーミングの抽出、変換、およびロード（ETL）ジョブのサポートが発表されました。これは、AWSにおけるデータ統合ワークロードを加速する新しい AWS Glue のバージョンです。AWS Glue のストリーミングETLジョブは、ストリーミングソースから連続的にデータを取り込み、データを逐次的にクリーンアップおよび変換し、数秒で分析可能なデータにします。AWSはさまざまなサービスを提供しており、AWS Database Migration Service（AWS DMS）などのデータベースレプリケーションサービスを使用して、ソースシステムからデータを Amazon Simple Storage Service（Amazon S3）に複製することができます。これは通常、データレイクのストレージレイヤーとして使用されます。この投稿では、Amazon Relational Database Service（Amazon RDS）や他のリレーショナルデータベースからの CDC（Change Data Capture）変更を S3 データレイクに適用する方法を示し、データの非正規化、変換、およびリッチ化をほぼリアルタイムで柔軟に行う構築手順を説明しています。

AWS Weekly Roundup – EC2 DL2q インスタンス、PartyRock、6 周年を迎えた Amplify など – 2023 年 11 月 20 日

11月13日週は、なんと 160 を超える新サービスがリリースされました。たくさんの更新情報であふれかえってい […]

J．フロント リテイリングにおけるデータアナリスト育成の取り組みについて

本稿では、J．フロント リテイリング株式会社が取り組んでいるデジタル人財育成の中で、 AWS 上に構築した統合データ基盤を活用したデータアナリスト育成の取り組みについて紹介します。

統合データ基盤構成図

J．フロント リテイリングにおける統合データ基盤を活用したカスタマー・データドリブン経営の取り組み

本稿では、J．フロント リテイリング株式会社（以後、JFR）が、 AWS 上に構築した「統合データ基盤」を活用したカスタマー・データドリブン経営の取り組みについて紹介します。

AWS Glue クローラーとテーブル作成におけるApache Iceberg フォーマットサポートの紹介

この投稿では、AWS Glue が Iceberg テーブルをサポートし、Data Catalog に統合されることで、Iceberg データセットの管理が容易になることを説明します。クローラーは Iceberg メタデータを検出し、Data Catalog を更新し、Lake Formation で権限を適用できるようになります。
Iceberg カタログはテーブルのメタデータを管理し、AWS Glue Data Catalog や他の実装オプションと連携します。AWS Glue は Iceberg テーブルのクローリングを自動化し、クロールごとにスキーマの変更を記録し、最新のメタデータを保持します。さらに、新しい Iceberg テーブルの作成も AWS Glue でサポートされ、Lake Formation でのアクセス権の設定が容易になりました

← Older posts
Newer posts →