參考部署

AWS 上的資料湖基礎

使用 Amazon Redshift、Amazon Kinesis、AWS Glue 和 Amazon SageMaker 等 AWS 服務

本解決方案會部署一個整合 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Kinesis、Amazon Athena、AWS Glue、Amazon Elasticsearch Service (Amazon ES)、Amazon SageMaker 和 Amazon QuickSight 等 Amazon Web Services (AWS) 的資料湖基礎。

資料湖基礎使用這些 AWS 服務,以提供資料提交、擷取處理、資料集管理、資料轉換和分析、建置和部署機器學習工具、搜尋、發佈及視覺化等功能。這個基礎就緒時,您可以選擇使用 ISV 和 SaaS 工具來擴大資料湖。

這個參考架構由 AWS CloudFormation 範本自動執行,您可以自訂範本以滿足您的需求。

此解決方案由 AWS 開發。

  •  您將建置的項目
  • 此解決方案設定以下內容:

    • 跨越兩個可用區域,並包含兩個公有和兩個私有子網路的虛擬私有雲端 (VPC)。*
    • 允許存取網際網路的網際網路閘道。*
    • 在公有子網路中,允許對私有子網路中的資源進行傳出網際網路存取的受管 NAT 閘道。*
    • 在公用子網路中,Auto Scaling 群組中的 Linux 堡壘主機將允許在公用及私有子網路中,傳入安全殼層 (SSH) 對 EC2 執行個體的存取。*
    • AWS Identity and Access Management (IAM) 角色提供存取 AWS 資源的許可;例如,允許 Amazon Redshift 和 Amazon Athena 讀取和寫入專業資料集。
    • 在私有子網路中,使用 Amazon Redshift 進行資料彙總、分析、轉換,以集建立新的專業資料集並予發佈。
    • 可以使用 AWS 驗證進行存取的 Amazon SageMaker 執行個體。
    • 與 Amazon S3、Amazon Athena、AWS Glue、AWS Lambda、Amazon ES with Kibana、Amazon Kinesis 和 Amazon QuickSight 等 Amazon 服務整合。

    * 可將解決方案部署至現有 VPC 的範本,會略過標有星號的任務,並提示您輸入現有的 VPC 組態。

  •  部署方式
  • 若要部署此解決方案,請遵循部署指南中的說明進行操作,其包含以下步驟。

    1. 登入 AWS 帳戶。如果您尚未擁有 AWS 帳戶,請到 https://aws.amazon.com 註冊。
    2. 啟動解決方案。該堆疊需要約 50 分鐘才能部署。在建立堆疊之前,請從頂部工具列中選擇「AWS 區域」。請選擇以下選項之一:
    3. 檢查解決方案建立的資源,以測試您的部署。

    解決方案包含可自訂的參數。例如,您可以設定網路,或自訂 Amazon Redshift、Kinesis 和 Elasticsearch 設定。 

    Amazon 可能會與 AWS 合作夥伴 (與 AWS 在此解決方案上協作的合作夥伴) 分享使用者部署資訊。  

  •  成本和授權
  • 執行此解決方案時,您須自行支付使用 AWS 服務和任何第三方授權的相關費用。使用此解決方案無須額外付費。

    此解決方案包括您能自訂的組態參數。其中某些設定 (例如執行個體類型) 會影響到部署的成本。若要估算成本,請參閱您所使用每項 AWS 服務的定價頁面。定價可能會隨時變更。

    提示:在部署解決方案後,建立  AWS Cost and Usage Report 以追蹤相關成本。這些報告會向您帳戶中的 Amazon Simple Storage Service (Amazon S3) 儲存貯體提供各個帳單指標。它們會根據每個月的用量提供成本估算,並在月底彙總資料。如需詳細資訊,請參閱 什麼是 AWS Cost and Usage Report?
  •  資源
  • 此解決方案與 Solution Space 中的一個解決方案相關,其中包括由 AWS 能力合作夥伴精心設計的簡介、選用的諮詢服務,以及 AWS 在概念驗證 (PoC) 專案中的共同投資。如需詳細資訊,請參閱 Solution Space。