投稿日: Nov 18, 2022
Amazon Athena では、Apache Iceberg テーブルに保存されたデータのストレージ、トランスフォーメーション、メンテナンスを簡素化する SQL コマンドとファイルフォーマットを追加しました。これらの新しい機能により、データエンジニアとアナリストは使い慣れた SQL の利便性と Iceberg のトランザクションの特性を組み合わせて、効率的で安定した分析のユースケースを実現できます。
本日のリリースでは、Iceberg データのライフサイクル管理を合理化するコマンドである、CREATE TABLE AS SELECT (CTAS)、MERGE、VACUUM が追加されました。CTAS はテーブル作成を迅速かつ効率的に行い、MERGE は 1 ステップでテーブルを同期してデータの準備と更新タスクを簡素化し、VACUUM でストレージ容量の管理と、GDPR などの規則要件を満たすためのレコードの削除ができます。AVRO と ORC のサポートも追加され、より幅広いファイルフォーマットで Iceberg テーブルを作成できるようになりました。最後に、Views を使用して複雑な結合、集計、データタイプを非表示にすることで、Iceberg が管理するデータへのアクセスを簡素化できるようになりました。
今回発表された新機能はすべて Athena engine version 3 でサポートされており、Athena ドライバー、API、コンソールで使用でき、サポートされているすべてのリージョンで利用可能です。
Athena での Iceberg の新機能の詳細については、Athena ユーザードキュメントの Iceberg テーブルの使用をご覧ください。