Category: AWS Glue

最近、AWS Glueバージョン4.0でストリーミングの抽出、変換、およびロード（ETL）ジョブのサポートが発表されました。これは、AWSにおけるデータ統合ワークロードを加速する新しい AWS Glue のバージョンです。AWS Glue のストリーミングETLジョブは、ストリーミングソースから連続的にデータを取り込み、データを逐次的にクリーンアップおよび変換し、数秒で分析可能なデータにします。AWSはさまざまなサービスを提供しており、AWS Database Migration Service（AWS DMS）などのデータベースレプリケーションサービスを使用して、ソースシステムからデータを Amazon Simple Storage Service（Amazon S3）に複製することができます。これは通常、データレイクのストレージレイヤーとして使用されます。この投稿では、Amazon Relational Database Service（Amazon RDS）や他のリレーショナルデータベースからの CDC（Change Data Capture）変更を S3 データレイクに適用する方法を示し、データの非正規化、変換、およびリッチ化をほぼリアルタイムで柔軟に行う構築手順を説明しています。

機械学習を使用して統計的な異常や、異常なパターンを検出することにより、データ品質を向上させるのに役立つ新しい […]

11月13日週は、なんと 160 を超える新サービスがリリースされました。たくさんの更新情報であふれかえってい […]

本稿では、J．フロント リテイリング株式会社が取り組んでいるデジタル人財育成の中で、 AWS 上に構築した統合データ基盤を活用したデータアナリスト育成の取り組みについて紹介します。

本稿では、J．フロント リテイリング株式会社（以後、JFR）が、 AWS 上に構築した「統合データ基盤」を活用したカスタマー・データドリブン経営の取り組みについて紹介します。

この投稿では、AWS Glue が Iceberg テーブルをサポートし、Data Catalog に統合されることで、Iceberg データセットの管理が容易になることを説明します。クローラーは Iceberg メタデータを検出し、Data Catalog を更新し、Lake Formation で権限を適用できるようになります。
Iceberg カタログはテーブルのメタデータを管理し、AWS Glue Data Catalog や他の実装オプションと連携します。AWS Glue は Iceberg テーブルのクローリングを自動化し、クロールごとにスキーマの変更を記録し、最新のメタデータを保持します。さらに、新しい Iceberg テーブルの作成も AWS Glue でサポートされ、Lake Formation でのアクセス権の設定が容易になりました

あらゆる業界のお客様が、エンタープライズリソースプランニング (ERP)、注文管理システム (OMS)、エンタ […]

11月14日、AWS Glue データカタログ新機能として、Apache Iceberg 形式のトランザクショ […]

AWS Glue Studio は AWS Glue DataBrew と統合されました。 AWS Glue […]

こんにちは。ソリューションアーキテクトの加藤です。パイオニア株式会社(以下、パイオニア) は、「より多くの人と、感動を」 をミッションに掲げ、モノ×コト（プロダクト ＆ ソリューションサービス）の両輪で、新しい移動体験の価値を創造しています。本ブログでは、パイオニアが AWS を活用し、どのようにデータカタログサイトを実現したかについて、パイオニア Piomatix 情報サービス部 櫛引 翔太 氏よりご紹介します。