レガシーデータ形式は AI 向けに構築されていません。
データおよび AI スタック全体で Apache Iceberg の AWS サポートを使用して、データをエージェント対応にする
エージェントに単一のオープンな信頼できる情報源を提供する
AI エージェントには、データレイク、データベース、アプリケーション全体にまたがるデータへのガバナンスされたアクセスが必要です。統一されたデータ基盤がなければ、データチームはコピーの管理やカスタムパイプラインの構築に追われ、信頼できるデータに依存する AI イニシアチブの推進が遅れることになります。
そのため、Comcast、Indeed、Vanguard
などの組織は、AWS を活用してすべてのデータの信頼性と相互運用性を実現しています。主要クラウドプロバイダーの中で最も広範なネイティブ Apache Iceberg サポート – ストレージ、ストリーミング、ETL、カタログ、分析にまたがる – AWS ではすべてのエンジンとエージェントが同じ信頼できるデータに到達できるため、チームはアーキテクチャを簡素化し、AI をより迅速に展開できます。
Apache Iceberg を使用する理由
ACID トランザクション、スキーマの進化、スナップショット分離、組み込みのタイムトラベルなどの機能により、すべてのクエリでデータの完全で一貫したビューを保証します。
Iceberg を使用すると、ニーズの変化に応じてスキーマを柔軟に進化させ、パーティショニング戦略を変更できます。Iceberg は 100% オープンソースであり、コミュニティが主導するテーブル形式のため、単一ベンダーのロードマップに縛られることはありません。
管理対象データの 1 つのコピーにワークロードを統合し、冗長な ETL パイプラインを排除し、サイロ化されたシステム間の重複データセットを削除することでストレージコストを削減します。
Apache Spark、Apache Flink、Presto などの一般的なフレームワークをネイティブにサポートしているため、Iceberg ではタスクごとに最もパフォーマンスの高いツールを選択できます。
Apache Iceberg に AWS を選ぶ理由
Amazon S3 ではお客様自身のアカウントにオープンフォーマットでデータを保存するため、互換性があればいずれのエンジンでも利用できます。データの保存場所を正確に把握し、リクエストごとアクセスパターンを詳細に監査できるため、所有権を完全に維持できます。Amazon S3 では業界トップレベルの耐久性、可用性、セキュリティ、パフォーマンスが提供される一方で、お客様は完全な制御と可視性を維持できます。
Apache Iceberg はデータレイクに信頼性とシンプルさを提供しますが、Iceberg テーブルの管理にはエンジニアリングの工数が数時間かかる場合があります。Amazon S3 Tables は、ガバナンスを簡素化し、圧縮やスナップショット管理などの日常的なタスクを自動化する専用の Iceberg ストレージを提供して、チームに生産性の時間をもたらします。
AWS エンジンでは、コストのためにパフォーマンスを犠牲にすることはありません。AWS Glue の Iceberg マテリアライズドビューは Apache Spark からのクエリパフォーマンスを最大 8 倍に高速化します。Amazon EMR はオープンソースの同等製品と比較して、Apache Iceberg の書き込みジョブを 2 倍以上高速に実行します。Amazon Redshift RG インスタンスは Apache Iceberg ワークロードを前世代比で最大 2.4 倍高速に実行し、コストを最大 30% 削減します。
オープン性はガバナンスを犠牲にすることなく実現できます。AWS では、すべてのエンジンとユーザーに対して、存在するテーブル、その保存場所、および構造について一貫したビューを提供できます。AWS Lake Formation を使用すると、詳細なアクセスポリシーを一度定義するだけで、AWS のサービス全体に一貫して適用できます。
AWS Glue データカタログと Amazon S3 Tables は Iceberg REST カタログエンドポイントを公開するため、S3 上の Iceberg テーブルは互換性のあるいずれのカタログとも連携できます。AWS Glue のカタログフェデレーションを使用すると、Amazon Redshift、Amazon Athena、Amazon EMR などの AWS エンジンが、データをコピーすることなくリモート Iceberg カタログにカタログ化されたテーブルをクエリでき、データの保存場所に関係なくすべてのデータを一元的に表示できます。
オープンデータジャーニーのすべてのステージのサポート
Apache Hive のモダナイズでも、AI エージェントの大規模なデプロイでも、AWS はあらゆるユースケースのサポートを提供しています。
AI の基盤
リネージ、詳細なアクセス制御、タイムトラベルが組み込まれた本番環境の実データへの AI モデルやエージェントによるアクセスを統治およびバージョン管理できるようになります。チームは、カスタムインフラストラクチャを構築せずに、トレーニングの実行を再現し、エージェントの動作を監査し、必要に応じてロールバックできます。
レイクハウスのモダナイズ
ダウンタイムやデータの書き換えなしに、レガシーの Hive テーブルや独自フォーマットから AI 対応の Iceberg データレイクおよびレイクハウスアーキテクチャへ移行できます。AWS はインプレース移行パスを提供しているため、ワークロードを稼働させたまま、チームは段階的にモダナイズできます。
どのようにして Yelp は AWS でストリーミングレイクハウスを活用し自社のデータインフラストラクチャをモダナイズしたか
コスト削減
切断されたカタログ間のメタデータ管理を不要にします。重要なメタデータを一元化することでデータ資産の信頼できる統合ビューを提供し、冗長なデータコピーや複雑な ETL システムをなくします。
AWS Glue データカタログのカタログフェデレーションを使用して Databricks Unity Catalog データにアクセスする
AWS Glue データカタログのカタログフェデレーションを使用して Snowflake Horizon Catalog データにアクセスする
ペタバイトスケールの分析
ペタバイト規模の Iceberg データ全体に対してインタラクティブなクエリを実行します。データをウェアハウスに移動する必要はありません。複数のエンジンで、すべてが同じテーブルから安全に読み取られるため、アナリストやデータエンジニアはデータをコピーすることなくワークロードごとに適切なエンジンを選択できます。
お客様への実際の影響
仕組み
Apache Iceberg 向け AWS データおよび分析サービス
次のステップ
Iceberg アーキテクチャのステップバイステップガイダンス
通知
Apache および Apache プロジェクトの商標は Apache Software Foundation の登録商標です。
今日お探しの情報は見つかりましたか?
ページコンテンツの品質向上のため、皆さまのご意見をお寄せください