什麼是資料湖倉儲方法?

無縫整合您的資料湖、資料倉儲和專用資料存放區

資料湖倉儲方法 – 運作方式

資料湖倉儲方法承認採用一刀切的分析方法最終會導致妥協的想法。它不僅關乎將資料湖與資料倉儲整合,而且還與整合資料湖、資料倉儲和專用存放區有關,可實現統一的管控和輕鬆的資料移動。藉由 AWS 上的資料湖倉儲架構,客戶可以將資料存放在資料湖中,並在湖周圍使用一系列專用資料服務,使他們能夠以市面上無與倫比的規模和價格/效能快速且敏捷地做出決策。

資料湖架構需要客戶:

  • 快速建置可擴展的資料湖
  • 使用廣泛而深入的專用資料服務集合
  • 透過統一的方式保護、監控和管理對資料的存取來確保合規
  • 在不影響效能的情況下以低成本擴展您的系統
運作方式 – 資料湖倉儲方法

為何您需要資料湖倉儲方法

資料量以前所未有的速度增長,從 TB 級增長到 PB 級,有時甚至是 EB 級。傳統內部部署資料分析方法無法處理這些資料量,因為它們的擴展性不夠好,而且成本高昂。許多公司正在從各種孤島中獲取所有資料,並將所有資料聚合在一個位置,許多人稱之為資料湖,直接對這些資料進行分析和機器學習。有時,這些類似的公司在專用資料存放區中存放其他資料,以便分析和更快從結構化和非結構化資料中取得洞察。這種資料移動可以是「由內而外」、「由外向內」或「環繞周邊」,因為資料具有引力。

  • 由內而外
  • 由外向內
  • 環繞周邊
  • 資料引力
  • 由內而外
  • 由內而外資料移動

    客戶將資料存放在資料湖中,然後將部分資料移至專用資料存放區以進行額外的機器學習或分析。

    範例:可以直接在資料湖中收集來自 Web 應用程式的點擊流資料,並且可以將部分資料移出資料倉儲以進行日常報告。我們將此概念視為由內而外的資料移動。

    由內而外資料移動
  • 由外向內
  • 由外向內資料移動

    客戶正在專用資料存放區中存放資料,例如資料倉儲或資料庫,且正在將該資料移至資料湖以對該資料執行分析。 

    範例:他們將給定區域內產品銷售的查詢結果從其資料倉儲複製到資料湖中,以使用 ML 針對更大的資料集執行產品推薦演算法。

    由外向內資料移動
  • 環繞周邊
  • 環繞周邊資料移動

    無縫整合您的資料湖、資料倉儲和專用資料存放區。 

    範例:他們可以將存放在資料庫中的產品型錄資料複製到其搜尋服務中,以便更輕鬆地瀏覽產品型錄並從資料庫中卸載搜尋查詢。

    由外向內資料移動
  • 資料引力
  • 資料引力

    隨著這些資料湖和專用存放區中的資料持續增長,移動所有這些資料變得更加困難,因為資料具有引力。確保資料可以透過正確的控制輕鬆到達需要的位置以實現分析和洞察同樣很重要。

    資料引力

資料湖倉儲方法支柱

各個組織正在從各種孤島中獲取其資料,並將所有資料彙總在一個位置,以對這些資料執行分析和機器學習。為了發揮資料的最大價值,他們需要利用資料湖倉儲方法,以便輕鬆地在資料湖和專用資料存放區之間移動資料。這種現代的架構方式需要:

更多客戶在 AWS 上建置資料湖倉儲

  • lake_house_customers_logo_bmw
  • lake_house_customers_logo_nielsen
  • lake_house_customers_logo_engie
  • BMW Group
  • BMW Group
    BMW Group

    為了加速創新並使大規模資料使用民主化,BMW Group 將其內部部署資料湖遷移到由 Amazon S3 提供支援的資料湖;BMW 現在每天處理來自數百萬輛汽車以 TB 計的遙測資料,並在問題影響客戶之前予以解決。

    閱讀使用案例 
  • Nielsen
  • Nielsen
    Nielsen

    全球策略與資料分析公司 Nielsen 透過利用現代雲端技術,它每天可以擷取、處理和報告給客戶的資料量大幅增加。它從每天測量 40,000 家增加到超過 3,000 萬家。

    閱讀使用案例 
  • Engie
  • Engie
    lake_house_customers_logo_engie

    ENGIE 是法國最大的公用事業公司之一,它在 70 個國家/地區擁有 16 萬名員工和 40 個業務單位。他們的 Common Data Hub 近 100 TB 的資料湖使用 AWS 服務來滿足資料科學、行銷和營運方面的業務需求。

    閱讀使用案例 

合作夥伴

了解我們的合作夥伴如何協助組織利用資料湖倉儲方法在 AWS 上建置現代資料架構

Cloudera

Cloudera

在 AWS 上執行 Cloudera Enterprise 為 IT 和業務使用者提供資料管理平台,該平台可用作現代資料處理與分析的基礎。

進一步了解 »

Informatica 雲端

Informatica 雲端

Informatica 雲端以 100 個以上應用程式的原生連接提供 AWS 資料服務的最佳化整合。

進一步了解 »

Dataguise

Dataguise

Dataguise 為安全業務執行方面的領導者,提供以資料為中心的安全解決方案,可偵測和保護企業的敏感資料,而不論其是即時資料還是誰需要利用該資料。

進一步了解 »

Alluxio Data Orchestration

Alluxio Data Orchestration

Alluxio Data Orchestration 讓客戶能夠更好地利用關鍵的 AWS 服務 (例如 EMR 和 S3) 來處理分析和 AI 工作負載。

進一步了解 »

入門

AWS Data Driven Everything 計劃

AWS Data-Driven Everything
在 AWS Data-Driven EVERYTHING (D2E) 計劃中,AWS 將與我們的客戶合作,以更快、更精確和更遠大的範圍快速啟動您自己的資料飛輪。

進一步了解 »

AWS 資料實驗室

AWS 資料實驗室
AWS 資料實驗室在客戶和 AWS 技術資源之間提供加速、緊密的工程互動,以建立實際可交付的成果,以加快資料和分析現代化計劃的速度。

進一步了解 »

AWS 分析和大數據參考架構

AWS 分析和大數據參考架構
了解 AWS 上雲端資料分析、資料倉儲和資料管理的架構最佳實務。

進一步了解 »