Amazon Redshift 資料湖架構

以開放檔案格式查詢所有資料。無須載入資料。

IoT、智慧裝置、雲端應用程式和社交所產生的資料量呈指數成長。不論資料格式或存放位置為何,您都需要在最短的取得洞見時間內,以具成本效益的方式輕鬆分析所有資料。

Amazon Redshift 支援資料湖架構,可讓您查詢資料倉儲、資料湖和操作資料庫中的資料,以取得更快、更深入的洞見。使用資料湖架構,您可以開放檔案格式,將資料存放在 Amazon S3 資料湖中。這可讓您輕鬆地將此類資料提供給其他分析和機器學習工具使用,而不是將資料鎖定在新位置中。

使用 Amazon Redshift 資料湖架構,您可以:

  • 輕鬆查詢您資料湖中的資料,並以開放格式將資料寫回您的資料湖。
  • 使用熟悉的 SQL 陳述式來結合及處理您所有資料存放區的資料。
  • 對操作資料庫中的即時資料執行查詢,而不需要載入任何資料和 ETL 管道。

2019 re:Invent 主旨:Amazon Redshift 資料湖架構 (1:23)

特色

Amazon Redshift 資料湖架構由下列功能提供支援:

Amazon Redshift Spectrum

直接在 Amazon S3 資料湖中查詢開放格式資料,而不需載入資料或複製您的基礎設施。使用 Amazon Redshift Spectrum 功能,您即可查詢開放檔案格式,例如 Apache Parquet、ORC、JSON、Avro 和 CSV。遵循此逐步教學課程以便開始使用。

資料湖匯出

使用資料湖匯出,以開放檔案格式 (Apache Parquet) 將 Amazon Redshift 查詢的結果直接儲存到您的 S3 資料湖。您可以使用 Amazon Redshift Spectrum 功能及其他 AWS 服務 (例如適用於機器學習的 Sagemaker,以及適用於 ETL 操作的 EMR),接著分析此資料。觀看這部 5 分鐘的影片以便開始使用。

聯合查詢

聯合查詢可讓 Amazon Redshift 直接在 Amazon RDS 和 Aurora PostgreSQL 存放區中查詢資料。這可讓您在您的報告和 BI 應用程式中納入適時和最新的操作資料,而不需進行任何 ETL 操作。觀看此5-minute video or read this 教學課程以便開始使用。

華納兄弟 (Warner Bros)
「我們利用許多 AWS 和第三方分析工具,而且很高興看到 Amazon Redshift 繼續採用我們已經用於自有解決方案的各種相同資料轉換模式。從 2017 年起,我們已利用 Redshift Spectrum 控管 Amazon Redshift 在資料湖中查詢開放資料格式的功能,而現在利用新的 Redshift 資料湖匯出功能,即可方便地將資料寫回資料湖。這全都以一致快速的效能進行,甚至是在最高查詢負載的情況下進行。 我們期待利用整合式大數據堆疊的協同作用,推動跨更多 Amazon Redshift 叢集的資料共用,而且以更低的成本為我們的遊戲衍生出更多價值。」

華納兄弟 (Warner Bros) 的分析行銷營運技術總監 Kurt Larson。分析

資源

部落格

適用於使用 Amazon Redshift 的資料湖架構的 ETL 和 ELT 設計模式:第 1 部分

為使用 Amazon Redshift 的資料湖架構建立可擴展的 ETL 和 ELT 設計模式:第 1 部分。

閱讀部落格 »
教學

Amazon Redshift Spectrum 入門

開始使用 Amazon Redshift Spectrum 的逐步教學課程。

開始教學 »
客戶案例

如何使用 Amazon Redshift 擴展資料分析

了解華納兄弟 (Warner Bros) 娛樂公司如何使用 Amazon Redshift 來擴展其資料分析工作負載。

觀看影片 »
註冊 AWS 帳戶
註冊 AWS 帳戶

註冊 AWS 帳戶並立即存取 AWS 免費方案。

建立帳戶 
AWS 免費方案
AWS 免費方案

免費親身實作體驗 AWS 平台、產品與服務。

進一步了解 
遷移資料庫
遷移資料庫

使用 AWS Database Migration Service 快速安全地遷移資料庫。

探索更多