此 AWS Solutions Implementation 有什麼作用?

許多 Amazon Web Services (AWS) 客戶需要提供比傳統資料管理系統更具敏捷性和彈性的資料儲存和分析解決方案。由於資料湖允許公司管理來自各式各樣來源的資料類型,並在集中式的儲存庫中存放結構化和非結構化資料,因此資料湖成為越來越熱門的新型資料存放和分析方式。

AWS 雲端提供許多必要的建置區塊,協助客戶實作安全、有彈性且經濟實惠的資料湖。這些包含 AWS Managed Services,可協助擷取、存放、尋找、處理和分析結構化和非結構化資料。為了在客戶建立資料湖時提供支援,AWS 提供資料湖解決方案,這是一種自動參考實作,可在 AWS 雲端部署高度可用、具成本效益的資料湖架構,以及提供簡單易用的主控台用於搜尋和請求資料集。

解決方案的 2.2 版使用最新的 Node.js 執行時間。2.1 版使用 Node.js 8.10 執行時間,該執行時間已於 2019 年 12 月 31 日終止服務。若要升級至 2.2 版,您必須將解決方案部署為新堆疊。如需詳細資訊,請參閱實作指南

AWS Solutions Implementation 概觀

AWS 提供的資料湖解決方案,可自動設定簡化標記、搜尋、共享、轉換、分析和管理公司內部或與其他外部使用者之間特定資料子集所需的核心 AWS 服務。該解決方案會部署一個使用者可存取的主控台,讓使用者可根據業務需要來搜尋和瀏覽可用的資料集。該解決方案也包含聯合範本,可讓您啟動能與 Microsoft Active Directory 整合的解決方案版本。

下圖顯示您可以使用解決方案的實作指南和隨附的 AWS CloudFormation 範本在幾分鐘內部署的資料湖架構。

資料湖解決方案 | 架構圖
 按一下以放大

AWS 資料湖解決方案架構

AWS CloudFormation 範本會設定解決方案的核心 AWS 服務,其中包括一套 AWS Lambda 微型服務 (函數)、Amazon OpenSearch Service (Amazon Elasticsearch Service 的後繼者) 用於提供健全的搜尋功能、Amazon Cognito 用於使用者身分驗證、AWS Glue 用於資料轉換,以及 Amazon Athena 用於分析。

該解決方案利用 Amazon S3 的安全性、耐久性和擴展性來管理組織資料集的持久性目錄,並利用 Amazon DynamoDB 來管理對應的中繼資料。資料集編入型錄後,其屬性和描述性標籤即可進行搜尋。使用者可以在解決方案主控台中搜尋並瀏覽可用資料集,並建立其需要存取的資料清單。

該解決方案會追蹤使用者選取的資料集並產生資訊清單檔案,內含使用者查看時所需內容的安全存取連結。

AWS 資料湖

2.2 版
上次更新日期:2021 年 9 月
作者:AWS  

預計部署時間:30 分鐘

使用下面的按鈕訂閱解決方案更新。

注意:若要訂閱 RSS 更新,您必須為正在使用的瀏覽器啟用 RSS 外掛程式。 

此 Solutions Implementation 是否對您有幫助?
提供意見回饋 

功能

資料湖參考實作

運用立即可用的資料湖解決方案,或作為您可以自訂的參考實作,以滿足獨特的資料管理、搜尋和處理需求。

資料存取彈性

利用預先簽章的 Amazon S3 URL,或使用適當的 AWS Identity and Access Management (IAM) 角色,以受控制的方式直接存取 Amazon S3 中的資料集。

聯合身分登入

您可以選擇讓使用者透過如 Microsoft Active Directory Federation Services (AD FS) 等 SAML 身分供應商 (IdP) 登入。

受管儲存層

保護並管理受管的 Amazon S3 儲存貯體中資料的儲存和擷取,並使用解決方案特定的 AWS Key Management Service (KMS) 金鑰,以靜態加密資料。

命令列界面

使用提供的 CLI 或 API 輕鬆自動化資料湖活動,或將此解決方案整合至現有資料自動化,以進行資料集輸入、輸出和分析。

使用者界面

該解決方案會建立在 Amazon S3 上託管並由 Amazon CloudFront 交付並以 Web 為基礎的直覺式主控台 UI。存取主控台,以輕鬆管理資料湖使用者、資料湖政策、新增或移除資料套件、搜尋資料套件,以及建立資料集資訊清單,以進行其他分析。
建立圖示
自行部署解決方案

瀏覽我們的 AWS 解決方案實作庫,獲取常見架構問題的答案。

進一步了解 
尋找 APN 合作夥伴
尋找 APN 合作夥伴

尋找 AWS 認證的諮詢與技術合作夥伴協助您入門。

進一步了解 
探索圖示
探索解決方案諮詢產品

瀏覽我們的諮詢產品組合,獲取經過 AWS 審核的解決方案部署協助。

進一步了解