Category: Analytics

Amazon EMR 8.1.0 のマルチカタログサポートを紹介します。RedirectingSessionCatalog を Spark のデフォルトカタログに設定すると、Iceberg、Delta Lake、Hudi、Hive のテーブルをフォーマット固有のプレフィックスなしに 1 つのカタログでクエリでき、名前付きカタログや GlueCatalogResolver を使えば、データをコピーせずに AWS アカウントをまたいだ結合やクエリ実行時のリモートカタログ検出も実現できます。Amazon EMR Serverless を使ったウォークスルーで、設定手順と動作を確認します。

Amazon Redshift で Iceberg マテリアライズドビューが利用可能になりました。コストの高い結合や集計を一度計算し、その結果を Amazon S3 上の標準的な Apache Iceberg テーブルとして格納できます。Amazon Athena、Apache Spark、AWS Glue などの Iceberg 互換エンジンから、コピーや別パイプラインなしに同じ事前計算済みの結果を直接クエリ可能です。

こんにちは。アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクトの辻林です。2026 年 9 月 15 日に、「AI ペルソナワークショップ — 自社だけの AI ペルソナを作って、試してみよう」を開催しました。マーケティングや事業企画に携わる皆様と、自社のデータから AI ペルソナを作り、実際のビジネス課題にぶつけてみる半日のワークショップです。ご参加くださった皆様に、改めて御礼申し上げます。
本ブログでは、ワークショップの狙いと当日の様子、参加者の皆様の声をお届けします。

Amazon Aurora および Amazon RDS（MySQL / PostgreSQL）と Amazon OpenSearch Service の統合が一般提供開始されました。Amazon OpenSearch Ingestion を使うと、ETL パイプラインを自前で組まずに、データベースの内容をニアリアルタイムで OpenSearch に同期できます。本記事では、サンプルの HR データベースを使って設定の流れと同期の動きを紹介します。

はじめに 本記事は、HR データ統合基盤を題材に、共通オントロジーの設計の考え方と、取込・質問応答・推論への使 […]

今月は「エージェントに現場を任せるとき、境界線をどこに引くか」をピックアップトピックとしてお届けしつつ、8 月に公開された製造業向けのブログとサービスアップデートをご紹介します。

ニューヨークの 9 月中旬には、特別なエネルギーがあります。パンプキンスパイスラテがたっぷりとあり、気温も下が […]

United Airlines は、AWS Glue Data Catalog フェデレーションで Amazon Redshift Serverless と Databricks Unity Catalog を接続し、データを複製せずに Databricks が管理するデータをクエリしています。本記事では、Lake Formation の設定、リソースリンクの作成、IAM ロールと権限の設定、外部スキーマの作成までの手順と、United Airlines が得たビジネスへの効果を紹介します。

Amazon MWAA Serverless で PythonOperator と BashOperator が使えるようになり、カスタムの Python 関数やシェルスクリプトをサーバーレスランタイム上で直接実行できます。AWS Lambda 関数や Amazon ECS タスクでコードをラップする必要はありません。本記事では、コードバンドルの仕組みと実行モデルを解説し、PythonOperator で CSV を JSON に変換し BashOperator で出力を検証するパイプラインを AWS CLI で構築します。

Apache Airflow 3.0 の Asset Watcher と Amazon SQS を組み合わせて、複数の Amazon MWAA 環境や AWS アカウントをまたぐイベント駆動のオーケストレーションを実現する方法を解説します。ポーリングベースのセンサーをイベント駆動のトリガーに置き換えることで、環境間オーケストレーションのレイテンシーを数分から数秒に短縮できます。クロスアカウント IAM、triggerer の健全性、Amazon VPC のネットワーク、DAG 設計のベストプラクティスも紹介します。