為您的代理程式提供單一、開放的事實來源
AI 代理程式需要受治理的資料存取權,以存取分散於資料湖、資料庫和應用程式中的資料。若沒有統一的資料基礎,資料團隊最終會忙於管理副本、建置自訂管道,並拖慢依賴可信資料的 AI 計畫。
這就是為什麼 Comcast、Indeed 和 Vanguard
等組織選擇 AWS,為其所有資料帶來可靠性與互通性。AWS 擁有任何主要雲端供應商中最廣泛的原生 Apache Iceberg 支援 ( 涵蓋儲存、串流、ETL、目錄和分析 ),讓每個引擎和代理程式都能存取相同的可信資料,使團隊能簡化架構並更快推出 AI。
為什麼選擇 Apache Iceberg?
ACID 交易、結構描述演進、快照隔離和內建時間旅行等功能,確保每個查詢都能看到完整、一致的資料檢視。
Iceberg 讓您可以隨著需求變化靈活地演進結構描述和變更分割策略。而且因為 Iceberg 是 100% 開放原始碼、社群驅動的表格格式,它不受單一供應商的藍圖所限制。
將工作負載整合到單一受治理的資料副本上,消除重複的 ETL 管線,並透過移除分散式系統中的重複資料集來降低儲存成本。
透過在 Apache Spark、Apache Flink 和 Presto 等熱門框架中的原生支援,Iceberg 讓您為每項任務選擇效能最佳的工具。
為何選擇 AWS for Apache Iceberg?
Amazon S3 以開放格式將資料儲存在您自己的帳戶中,任何相容的引擎都可以存取。您確切知道您的資料位於何處,可以透過詳細的請求層級記錄來稽核存取模式,並保留完整的所有權。Amazon S3 提供業界領先的耐久性、可用性、安全性與效能,同時讓您保有完整的控制權與可見性。
Apache Iceberg 為您的資料湖帶來可靠性與簡潔性,但管理 Iceberg 資料表可能需耗費數小時的工程時間。Amazon S3 Tables 提供專為 Iceberg 打造的儲存,可簡化治理並自動執行壓縮與快照管理等例行任務,將數小時的生產力還給您的團隊。
使用 AWS 引擎,您永遠不必為了成本而犧牲效能。AWS Glue 中的 Iceberg 具體化檢視可將 Apache Spark 查詢效能加速達 8 倍;Amazon EMR 執行 Apache Iceberg 寫入作業的速度比開放原始碼版本快逾 2 倍;Amazon Redshift RG 執行個體 執行 Apache Iceberg 工作負載的速度比上一代快達 2.4 倍,且成本最多降低 30%。
開放性不會以治理為代價。AWS 讓您能為每個引擎和使用者提供一致的視圖,清楚掌握存在哪些資料表、其所在位置及其結構。透過 AWS Lake Formation,只需定義一次精細存取政策,即可在 AWS 服務之間一致地強制執行。
AWS Glue Data Catalog 和 Amazon S3 Tables 公開 Iceberg REST 目錄端點,因此 S3 上的 Iceberg 資料表可與任何相容的目錄搭配運作。AWS Glue 中的目錄聯合讓 Amazon Redshift、Amazon Athena 和 Amazon EMR 等 AWS 引擎可以查詢在遠端 Iceberg 目錄中編目的資料表,而無需複製資料,為您提供所有資料的統一檢視,無論資料位於何處。
為您開放資料旅程的每個階段提供支援
無論您是從 Apache Hive 進行現代化,還是大規模部署 AI 代理程式,AWS 都能為每種使用案例提供支援
AI 的基礎
透過內建的資料沿襲、精細存取控制和時間旅行功能,讓 AI 模型與代理程式以受治理、具版本控制的方式存取生產資料。團隊可以重現訓練執行、稽核代理程式行為,並在需要時回復,而無需建置自訂基礎結構。
湖倉現代化
從舊版 Hive 資料表或專有格式移轉至 AI 就緒的 Iceberg 資料湖與湖倉架構,無需停機時間或重寫資料。AWS 提供原地移轉路徑,讓您的團隊可以在工作負載持續運行的同時逐步現代化。
成本降低
停止管理分散於不相連目錄中的中繼資料。集中化管理關鍵中繼資料,以獲得可信賴、全面的資料資產檢視,並消除重複的資料副本和複雜的 ETL 系統。
使用 AWS Glue Data Catalog 中的目錄聯合存取 Databricks Unity Catalog 資料
使用 AWS Glue Data Catalog 中的目錄聯合存取 Snowflake Horizon Catalog 資料
PB 級分析
跨 PB 級的 Iceberg 資料執行互動式查詢,而無需將其移入資料倉儲。透過多個引擎安全地從相同的資料表讀取,分析師和資料工程師可以為每個工作負載選擇合適的引擎,而無需複製資料。
運作方式
適用於 Apache Iceberg 的 AWS 資料與分析服務
後續步驟
您的 Iceberg 架構的逐步指引
開始使用 AWS 進行建置
通知
Apache 和 Apache 專案商標是 The Apache Software Foundation 的商標。
找到今天所需的資訊了嗎?
歡迎告知,以便我們改善頁面內容品質