Category: Analytics

Apache Iceberg は、データレイクで人気の選択肢となっています。ACID (原子性、一貫性、独立性、永続性) トランザクション、スキーマ進化、タイムトラベル機能を提供します。Iceberg テーブルは、Apache Spark や Trino などの様々な分散データ処理フレームワークからアクセスできるため、多様なデータ処理のニーズに対して柔軟なソリューションとなります。そのような Iceberg を扱うためのツールの中で、PyIceberg は分散コンピューティングリソースを必要とせずに、Python スクリプト上でテーブルのアクセスと管理を可能にします。

この投稿では、AWS Glue Data Catalog と AWS Lambda と統合された PyIceberg が、直感的な Python インターフェースを通じて Iceberg の強力な機能を活用するための軽量なアプローチを提供する方法を示します。この統合により、チームはほとんどセットアップやインフラストラクチャの依存関係の設定を行わずとも Iceberg テーブルの操作や利用を開始できることを説明します。

この記事では、Iceberg テーブルで信頼性の高い同時書き込み処理メカニズムを実装する方法を示します。Iceberg の同時実行モデルを探り、一般的な競合シナリオを検討し、自動再試行メカニズムと、カスタムの競合解決ロジックが必要な状況の両方の実用的な実装パターンを提供して、レジリエントなデータパイプラインを構築します。また、AWS Glue Data Catalog テーブル最適化による自動コンパクションのパターンについても説明します。

4 月 28 日週、私は AWS Summit Bangkok に参加するためにタイに行きました。活気に満ちた […]

組織が成長するにつれて、クラウドインフラの管理はますます複雑になり、コストを最適化するための高度な財務戦略が必 […]

Summit シーズンが本格的に到来しました! AWS Summit に参加したことがない方は、ぜひお近くで開 […]

こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 　2025 年 4 月 16 日に「AW […]

AWS Glue は、さまざまな開発ニーズに対応するため、Amazon ECR Public Gallery を通じて公式の AWS Glue Docker イメージを提供しています。この記事では、Docker コンテナを使用して AWS Glue 5.0 ジョブをローカルで開発およびテストする方法を示します。

Amazon QuickSight は、AWS の AI 搭載のビジネスインテリジェンス (BI) サービスであり、お客様がより迅速にインサイトを得て、より良い意思決定を行うことを支援します。また埋め込み機能を用いて、カスタマイズされたインタラクティブなビジュアルとダッシュボードをあらゆるアプリケーションに簡単に追加できます。本記事では、Amazon Q を使用した、Amazon QuickSight のコンソール埋め込みとダッシュボード埋め込みの新しい機能についてご紹介します。

OpenSearch Magazine の第 1 号をお届けいたします。本号では OpenSearch Service の最近のアップデート情報と、OpenSearch 最適化インスタンスタイプのご紹介、OpenSearch Project で現在開発が進められている OSS 版 OpenSearch 3.x 系のロードマップアイテムについてお話いたします。

OpenSearch Magazine は、ユーザーの皆さんに、重要な OpenSearch のアップデートをお届けし、より効果的に OpenSearch を活用いただくことを目指して開設されました。本号では、OpenSearch およびマネージドサービスである Amazon OpenSearch Service の概要を紹介します。