跳至主要內容

AWS 資料雲端方案

舊版資料格式並非為 AI 而打造。

透過 AWS Support 對 Apache Iceberg,讓您的資料在整個資料與 AI 堆疊中為代理程式做好準備

color-palette-1_aws-library_graphics_gradient_P1-S1-F_L_1200

為您的代理程式提供單一、開放的事實來源

AI 代理程式需要受治理的資料存取權,以存取分散於資料湖、資料庫和應用程式中的資料。若沒有統一的資料基礎,資料團隊最終會忙於管理副本、建置自訂管道,並拖慢依賴可信資料的 AI 計畫。

這就是為什麼 Comcast、Indeed 和 Vanguard
等組織選擇 AWS,為其所有資料帶來可靠性與互通性。AWS 擁有任何主要雲端供應商中最廣泛的原生 Apache Iceberg 支援 ( 涵蓋儲存、串流、ETL、目錄和分析 ),讓每個引擎和代理程式都能存取相同的可信資料,使團隊能簡化架構並更快推出 AI。

為什麼選擇 Apache Iceberg?

    ACID 交易、結構描述演進、快照隔離和內建時間旅行等功能,確保每個查詢都能看到完整、一致的資料檢視。

    Iceberg 讓您可以隨著需求變化靈活地演進結構描述和變更分割策略。而且因為 Iceberg 是 100% 開放原始碼、社群驅動的表格格式,它不受單一供應商的藍圖所限制。 

    將工作負載整合到單一受治理的資料副本上,消除重複的 ETL 管線,並透過移除分散式系統中的重複資料集來降低儲存成本。 

    透過在 Apache Spark、Apache Flink 和 Presto 等熱門框架中的原生支援,Iceberg 讓您為每項任務選擇效能最佳的工具。 

為何選擇 AWS for Apache Iceberg?

    Amazon S3 以開放格式將資料儲存在您自己的帳戶中,任何相容的引擎都可以存取。您確切知道您的資料位於何處,可以透過詳細的請求層級記錄來稽核存取模式,並保留完整的所有權。Amazon S3 提供業界領先的耐久性、可用性、安全性與效能,同時讓您保有完整的控制權與可見性。

    進一步了解如何在 Amazon S3 上建置資料湖

    AWS Glue Data Catalog 和 Amazon S3 Tables 公開 Iceberg REST 目錄端點,因此 S3 上的 Iceberg 資料表可與任何相容的目錄搭配運作。AWS Glue 中的目錄聯合讓 Amazon Redshift、Amazon Athena 和 Amazon EMR 等 AWS 引擎可以查詢在遠端 Iceberg 目錄中編目的資料表,而無需複製資料,為您提供所有資料的統一檢視,無論資料位於何處。

    進一步了解遠端 Iceberg 目錄的目錄聯合

為您開放資料旅程的每個階段提供支援

無論您是從 Apache Hive 進行現代化,還是大規模部署 AI 代理程式,AWS 都能為每種使用案例提供支援

AI 的基礎

透過內建的資料沿襲、精細存取控制和時間旅行功能,讓 AI 模型與代理程式以受治理、具版本控制的方式存取生產資料。團隊可以重現訓練執行、稽核代理程式行為,並在需要時回復,而無需建置自訂基礎結構。

Colorful, stacked blocks

湖倉現代化

從舊版 Hive 資料表或專有格式移轉至 AI 就緒的 Iceberg 資料湖與湖倉架構,無需停機時間或重寫資料。AWS 提供原地移轉路徑,讓您的團隊可以在工作負載持續運行的同時逐步現代化。

Yelp 如何透過 AWS 上的串流湖倉現代化其資料基礎結構

企業規模原地移轉至 Apache Iceberg:實作指南

Abstract digital illustration of flowing vertical lines with network nodes in blue and cyan, fanning outward against a gradient background of pink, purple, and gold, representing data flow or neural network connectivity.

成本降低

停止管理分散於不相連目錄中的中繼資料。集中化管理關鍵中繼資料,以獲得可信賴、全面的資料資產檢視,並消除重複的資料副本和複雜的 ETL 系統。   

使用 AWS Glue Data Catalog 中的目錄聯合存取 Databricks Unity Catalog 資料

使用 AWS Glue Data Catalog 中的目錄聯合存取 Snowflake Horizon Catalog 資料

Abstract illustration of iridescent rainbow-gradient blocks arranged on concentric circular platforms.

PB 級分析

跨 PB 級的 Iceberg 資料執行互動式查詢,而無需將其移入資料倉儲。透過多個引擎安全地從相同的資料表讀取,分析師和資料工程師可以為每個工作負載選擇合適的引擎,而無需複製資料。 

Abstract illustration of colorful geometric shapes on thin stems rising above layered wavy gradient hills on a dark navy background.

運作方式

通知

Apache 和 Apache 專案商標是 The Apache Software Foundation 的商標。

找到今天所需的資訊了嗎?

歡迎告知,以便我們改善頁面內容品質