AWS Lake Formation

只要幾天的時間就能建置安全的資料湖

AWS Lake Formation 是能在幾天內輕鬆設定安全資料湖的服務。資料湖是集中、專用且安全的儲存庫,可用原始格式和可進行分析的格式儲存您的所有資料。資料湖可讓您解決資料孤島,並合併不同類型的分析來取得洞見,以引導作出更佳的業務決策。

不過,在現今的環境中,資料湖的設定和管理涉及大量手動、複雜且耗時的任務。這項工作包括從不同來源載入資料、監控這些資料流程、設定分割區、啟用加密與管理金鑰、定義轉換任務和監控操作情形、將資料重新組織為單欄格式、設定存取控制設定、刪除重複資料、比對連結的記錄、授予資料集存取權及長期稽核存取權。

使用 Lake Formation 建立資料湖十分簡單,您只需定義資料來源和想套用的資料存取權與安全政策。Lake Formation 就會從資料庫和物件儲存系統協助您收集資料並編列型錄、將資料移至新的 Amazon S3 資料湖、運用機器學習演算法清理和分類資料,同時保護敏感資料的存取。您的使用者可以存取集中式資料型錄,這可描述可用的資料集及其適當的用量。接著,您的使用者可選擇分析與機器學習服務,例如 Amazon RedshiftAmazon Athena 和 (Beta 版) Amazon EMR for Apache Spark,來充分利用這些資料集。Lake Formation 建置於 AWS Glue 中的可用功能。

AWS re:Invent 2018 - 宣佈推出 AWS Lake Formation (2:44)

優勢

快速建置資料湖

藉助 Lake Formation,您可以更快地移動、儲存、分類和清理資料。您只需將 Lake Formation 指向資料來源,Lake Formation 即會爬取這些來源,並將資料移至新的 Amazon S3 資料湖。Lake Formation 在 S3 中將常用查詢字詞周圍的資料整理成適當大小的區塊,以提高效率。Lake Formation 還可以將資料變更為 Apache Parquet 和 ORC 等格式,以加速分析。此外,Lake Formation 具有內建的機器學習功能,可以刪除重複資料及尋找相符的紀錄 (表示同一事物的兩個項目),以提高資料品質。

簡化安全性管理

您可以使用 Lake Formation 在一處集中定義安全性、管控和稽核政策,而不是針對每項服務來執行這些任務,然後在其分析應用程式中為您的使用者實作這些政策。您的政策將以一致的方式實作,而無須在安全服務 (如 AWS Identity and Access Management 和 AWS Key Management Service)、儲存服務 (如 S3) 及分析和機器學習服務 (如Redshift、Athena 和 (Beta 版) EMR for Apache Spark) 之間手動設定這些政策。如此便可減少跨服務設定政策的工作,並提供一致的執行和合規性。

提供對資料的自助式存取

使用 Lake Formation,您可以建置資料型錄,來描述可用的各種不同的資料集,以及哪些使用者群組可以存取各資料集。透過協助使用者找到要分析的適當資料集,讓他們更有效率。透過提供具有一致安全性執行的資料型錄,Lake Formation 讓您的分析師和資料科學家能夠更輕鬆地使用其偏好的分析服務。
他們可以針對現在存放在單一資料湖中的各種資料集,使用 EMR for Apache Spark (Beta 版)、Redshift 或 Athena。使用者還可以組合這些服務,而不必在單一位置之間移動資料。

運作方式

AWS Lake Formation 運作方式

Lake Formation 有助於建置、保護和管理您的資料湖。首先,確定 S3 或關聯式資料庫和 NoSQL 資料庫中的現有資料儲存,並將資料移入資料湖。之後,對資料進行爬取、分類和準備以進行分析。然後,透過選擇分析服務,為您的使用者提供資料的安全自助式存取。其他 AWS 服務和第三方應用程式也可透過所示服務來存取資料。Lake Formation 管理橙色框中的所有任務,並與藍色框中所示資料存放區和服務整合在一起。

使用案例

閱讀有關「什麼是資料湖?」及使用案例的內容。

客戶

Nu Skin

Nu Skin Enterprises 是一間全球直銷公司,分銷個人護理和營養補品兩大類中超過 200 種優質抗衰老產品。

「在擴展功能及擴大現有分析系統輸送量方面,我們面臨著挑戰。我們的資料分佈在各種中斷連線的資料庫和 SaaS 解決方案中,因此很難在限制敏感資料存取的同時大規模分析資料。為了應對這一挑戰,我們在 AWS 上建置了資料湖解決方案。這讓我們能夠將各種資料孤島的資料彙總到 Amazon S3 中,我們可在此使用 AWS Lake Formation 對所有資料編列型錄和進行保護。沒有 AWS Lake Formation,就不可能實現 Amazon S3 上所有資料可擴展且易於使用的安全層目標。根據使用者角色,可以輕鬆設定和套用精細的存取控制。」

Nu Skin Enterprises 全球技術企業架構副總裁 Joe Sueper

Panasonic

Panasonic Avionics Corporation 是機上娛樂和通訊系統的全球領先供應商。

「我們希望建立能夠管理環境中所有不同應用程式安全設定的資料平台。藉助 AWS Lake Formation,我們現在可以一次定義政策,並在任何位置以相同的方式,針對我們使用的多種服務實作這些政策,包括 AWS Glue 和 Amazon Athena。增強的控制級別讓我們能夠安全地存取資料欄和資料表中的資料和中繼資料,而不僅僅是批次物件,這是我們的資料安全和管控標準的重要組成部分。」

Panasonic Avionics 雲端和資料服務總監 Anand Desikan

Accenture

Accenture 是頂尖的全球專業服務公司,提供策略、諮詢、數位、技術和營運等方面的各式服務和解決方案。

「我專注於協助客戶踏上其「雲端資料」之旅。具體來說,我們已經看到當組織需要對多個來源的資料進行分析時,正面臨著缺乏可信資料的問題。資料清理是資料分析的關鍵步驟,可以極大地影響業務成果和決策。AWS Lake Formation 中的新功能非常有益於解決資料準確性挑戰,並保障對資料湖的存取。我們發現,利用進階機器學習技術進行資料準備,以從不同資料來源尋找相符的紀錄、清除和刪除重複資料非常有用。這有助於減少時間、精力和成本,同時提高客戶資料湖中資料的品質和準確性。」

Accenture 資料業務部資深架構師 Namrata Maheshwary

Zalando

Zalando 是歐洲領先的時尚和生活方式線上平台。

「作為歐洲最時尚的科技公司,我們孜孜以求,致力於為時尚之旅的方方面面尋求數位解決方案。AWS Lake Formation 為我們提供了可擴展的中央控制點,可透過 Amazon Redshift 存取資料,這不僅簡化了程序,而且透過對資料使用方式的精細控制來進行改善。現在,我們可以使用偏好的工具來探索、存取和分析資料湖中的資料,並將其用於商業智慧和資料科學。這種精簡的工作流程有助於我們的管理層及時做出正確的決定,並透過機器學習促進創新。」

Zalando SE 工程主管 Alberto Miorin

Life360

Life360 是全球領先的家庭安心服務。Life360 應用程式透過專為保護和聯繫最重要人群的智慧功能,讓家庭之間的聯繫更加緊密。

「我們希望使用 AWS Lake Formation 來建置我們的資料湖,以支援位置型時間序列資料,並且讓資料載入變得更加容易。預製的藍圖可協助將資料載入資料湖,我們的資料工程團隊無須從頭開始編寫程式碼,因此他們可以專注於攝取操作,而不必從零開始。憑藉 AWS Lake Formation,我們能夠快速解除鎖定 Amazon S3 中的可用資料,並使其用於分析各種 AWS 資料服務。資料保留在 Amazon S3 中,我們可以透過許多不同的方式對其進行分析,並保持對資料的完全控制。」

Life360, Inc. 雲端和資料服務主管 Richard Chennault

Change Healthcare

Change Healthcare 是一間領先的獨立醫療保健科技公司,提供資料和分析驅動型解決方案,服務於約 2,100 個政府和商業付款合作夥伴、5,500 間醫院、900,000 位醫生和 33,000 個藥房。

「我們每天處理數百萬筆交易資料,同時確保符合醫療保健產業法規,包括 HIPAA。AWS Lake Formation 的推出讓我們興奮不已,該產品提供一個集中的控制點,可以輕鬆地載入、清除、保護成千上萬的用戶端資料,以及將其編列型錄至我們的 AWS 資料湖中,從而顯著減少了我們的營運負擔。透過 Lake Formation 中的資料存取控制,我們能夠輕鬆地一次性定義我們的政策,即可在使用的所有分析和機器學習服務中執行,並且透過稽核日誌來顯示合規性。」

Change Healthcare 技術長 Aaron Symanski 

Fender Digital

Fender Digital 隸屬標誌性吉他品牌 Fender,是負責製作應用程式、網站、平台和工具的新部門,以作為 Fender 製造吉他、放大器和音訊裝置的補充。

「我們的數位應用程式和裝置產生大量使用者和用量資料。我們正計劃建置 AWS 資料湖,以便與 Amazon Redshift 資料倉儲一起運作。我迫不及待地想讓我的團隊開始使用 AWS Lake Formation。Lake Formation 讓我們能夠輕鬆地載入、轉換資料及編列型錄,並且可在組織內的各種 AWS 服務組合中安全使用。使用 Lake Formation 等企業就緒選項,我們將更多的時間用在從資料中獲取價值,而不是執行手動設定和管理資料湖的繁重工作。」

Fender Digital 工程副總裁 Joshua Couch

Cloudreach

Cloudreach 透過遷移和管理軟體平台 Cloudamize 來增強功能,為資料驅動型決策帶來了簡單性和絕對的信心。

「AWS Lake Formation 不斷將資料湖民主化,並為企業資料策略創建了加速點。AWS Lake Formation 可集中執行服務的安全性和管控,精簡了管理並減少營運開銷。透過加速整個企業範圍內處理資料的程序,其他資料計劃,例如機器學習,開始促進更大的業務價值。」

Cloudreach 的 AWS 實務技術長 Cevin Davis

Amgen

Amgen 是全球最大的獨立生物技術公司。

「在 Amgen,我們三年多來一直是 Amazon Redshift 和 Amazon EMR 叢集的重度使用者。針對每個 AWS 帳戶、服務、使用者和資料集,設定所需詳細程度的安全性和存取控制可能很麻煩。AWS Lake Formation 透過中央控制點精簡了程序,同時還讓我們能夠更詳細地管理資料使用者及方式。使用 AWS Lake Formation,我們像管理資料庫中的資料一樣來管理 Amazon S3 物件的存取權。我們的使用者能夠使用其偏好的工具尋找、存取和分析所需資料。這種全新的工作流程讓每個人在使用 Amgen 的資料時都能提高效率。」

Amgen 企業資料湖產品負責人 Kerby Johnson

Alcon

Alcon 是改變人生的視力和眼部護理產品的創新和開發領導者。

「與許多公司一樣,我們啟動了資料湖計劃,以消除無法存取的資料孤島。藉助 AWS Lake Formation,我們可以快速新增對現有 Amazon S3 儲存貯體的存取權,以及定義其中的內容和使用方式。資料保留在 S3 中,但我們可以完全控制資料以用作其他用途。」

Alcon IT 分析主管 Srinivas Ravilisetty

Quantiphi

Quantiphi 是人工智慧和大數據軟體服務公司,致力於解決複雜的商業問題。Quantiphi 精專於為客戶建置資料湖和 AI 解決方案,以帶來可量化的價值。

「AWS Lake Formation 讓我們能夠在幾天內交付可存取相關資料的安全資料湖。現在,我們能夠為客戶提供兩全其美的功能,即全面的安全性,以及對使用者相關資料的簡化存取,以便使用者輕鬆做出決策。透過利用強大的集中式資料來源,我們的客戶可以專注於做出更有智慧的分析驅動型業務決策。」

Quantiphi 的 AWS 實務負責人 Arnav Gupta

Curvo

Curvo 是一間軟體即服務公司,專注於醫療保健供應鏈。憑藉精深的專業知識和敏捷的開發實務,他們建置了分析、工作流程和自動化,讓醫療保健中的支出管理更加快速便捷。

「透過將透明度融入臨床和醫療產品的基準定價資料,資料標準化是提供改善患者治療效果的關鍵步驟。透過在 AWS Lake Formation 中使用 ML 轉換,我們現在處理資料集的時間從一週降至四小時,而準確性提高至接近於 100%。這種速度和準確性讓我們的醫療保健客戶能夠快速回應市場變化,最終提供更實惠的醫療服務,而不會影響患者的治療效果。我們在一天之內即可交付,而我們的競爭對手需要花費 4 至 6 週的時間。」

Curvo 技術長 Nic Sagez

最新消息

「日期」
  • 「日期」
1
AWS Lake Formation
進一步了解有關 AWS Lake Formation 功能的資訊

請瀏覽功能頁面,進一步了解有關 AWS Lake Formation 功能的資訊。

進一步了解 
註冊 AWS 帳戶
註冊帳戶

立即存取 AWS 免費方案。

註冊 
開始在主控台進行建置
開始在主控台進行建置

開始在 AWS 管理主控台使用 AWS Lake Formation 進行建置。

登入