Amazon Web Services ブログ

Category: Analytics

AWS Glue クローラーとテーブル作成におけるApache Iceberg フォーマットサポートの紹介

この投稿では、AWS Glue が Iceberg テーブルをサポートし、Data Catalog に統合されることで、Iceberg データセットの管理が容易になることを説明します。クローラーは Iceberg メタデータを検出し、Data Catalog を更新し、Lake Formation で権限を適用できるようになります。
Iceberg カタログはテーブルのメタデータを管理し、AWS Glue Data Catalog や他の実装オプションと連携します。AWS Glue は Iceberg テーブルのクローリングを自動化し、クロールごとにスキーマの変更を記録し、最新のメタデータを保持します。さらに、新しい Iceberg テーブルの作成も AWS Glue でサポートされ、Lake Formation でのアクセス権の設定が容易になりました

Amazon Redshift におけるストアドプロシージャの拡張

この投稿では、Amazon Redshift のストアドプロシージャにおける非アトミックトランザクションモードに関して説明します。非アトミックトランザクションモードが導入されることで、より柔軟なトランザクション管理が可能となります。また、例外処理やトランザクションの制御に関する具体的な例も示されており、開発者がこれらの機能を適切に理解し活用できるようになっています。加えて、非アトミックトランザクションモードの導入に伴う制約や注意点も記載されており、実際の開発や移行プロセスにおいて参照いただける内容となっています。

Amazon MSK が AWS Gravition3 をサポートし、最大29%のスループット向上と最大24%のコスト削減を実現

Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka を使用してストリーミングデータを処理するアプリケーションを構築・実行可能なフルマネージドサービスです。 本日、Amazon MSK は、新規の MSK プロビジョンドクラスター用に M7g インスタンスの提供を開始いたしました。

Google Cloud BigQuery と Amazon QuickSight で統合ビジネスインテリジェンスを最大限に活用できます

Amazon QuickSightは、クラウドネイティブなサーバーレスビジネスインテリジェンス (BI) サービスです。ビジュアライゼーションの構築、アドホックな分析の実行、異常検知、予測、自然言語クエリなどの機械学習 (ML) 機能によってインサイトを得ることが可能です。また QuickSight は高性能なインメモリエンジンである SPICE を利用して迅速に高度な計算を実行し、ビジュアルを提供します。BigQuery は Google Cloud のフルマネージドかつペタバイト規模のコスト効率の高い分析データウェアハウスであり、膨大な量のデータに対してニアリアルタイムでの分析を実行できます。本ブログでは、OAuth を通じてBigQuery のデータを QuickSight に取り込みシンプルなダッシュボードを作成するために必要な BigQuery の権限と接続の設定の詳細についてご説明します。

← Older posts
Newer posts →