Amazon S3 Tables がデータレイクをモダナイズするためのシンプルで費用対効果の高い方法の提供を開始
Amazon S3 Tables では、Apache Hive テーブルから Apache Iceberg へのマネージド型移行が可能になりました。Iceberg により、ACID トランザクション、スキーマ進化、タイムトラベルがデータレイクに追加されますが、Hive から移行するには通常、テーブルごとに移行パイプラインを構築する必要があり、これには数週間かかる場合があります。移行の管理を S3 Tables に任せることができるようになったため、データが増えても最適化が維持される、クエリ対応の Iceberg テーブルが作成されます。
S3 Tables では、本番環境のワークロードを実行したまま、データが検証、変換、コピーされます。移行のリスクを軽減するために、各ステップを確認したり、必要に応じて対象テーブルをソースの変更と同期したり、ソースデータにロールバックしたりできます。お支払いいただくのはジョブがコピーしたデータの分のみで、Hive から Iceberg への変換に料金はかかりません。S3 Intelligent-Tiering のソースオブジェクトは現在のアクセス階層のまま維持されます。テーブルで Snappy 圧縮を使用している場合、S3 Tables はそれらを Zstandard (ZSTD) に再圧縮してコンパクションするため、ストレージとオブジェクト数が削減され、クエリパフォーマンスが向上します。
使用を開始するには、AWS マネジメントコンソールにアクセスするか、Amazon S3 Tables 移行 API を使用してください。Agent Toolkit for AWS には移行スキルも用意されており、AI エージェントがワークフローを自律的にオーケストレーションするのに役立ちます。 リリース時点で、S3 Tables のマネージド型移行は、同一の AWS アカウントおよび AWS リージョン内の Parquet 形式で保存されている AWS Glue 登録済みの Hive テーブルをサポートしています。米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ、シンガポール、シドニー、東京)、欧州 (フランクフルト、アイルランド、ストックホルム) の AWS リージョンで利用できます。料金の詳細については、Amazon S3 の料金にアクセスしてください。詳細については、Amazon S3 Tables の概要ページ、ドキュメント、AWS ニュースブログをご覧ください。