參考部署

Predictive Data Science with Amazon SageMaker and a Data Lake on AWS

存放和轉換資料來建立預測性和規範性應用程式

本快速入門建立的資料湖環境,可讓您在 Amazon Web Services (AWS) 雲端使用 Amazon SageMaker 建立、訓練和部署機器學習 (ML) 模型。這項部署大約可在 10-15 分鐘完成,使用 Amazon Simple Storage Service (Amazon S3)、Amazon API Gateway、AWS Lambda、Amazon Kinesis Data Streams 和 Amazon Kinesis Data Firehose 等 AWS 服務。

Amazon SageMaker 是受管平台,可讓開發人員和資料科學家輕鬆快速地建立、訓練和部署 ML 模型。

本快速入門適用於希望發揮資料潛力的使用者,透過建立預測性和規範性模型獲得最大的商業價值,無須設定複雜的 ML 硬體叢集。它支援端對端資料科學,在生產系統中從原始資料開始並在預測 REST API 結束。

本快速入門還提供 Pariveda Solutions 開發的示範案例。該示範說明如何將原始資料存放在 Amazon S3、在 Amazon SageMaker 轉換資料以供使用、使用 Amazon SageMaker 建立 ML 模型,以及針對 Amazon Elastic Compute Cloud (Amazon EC2) Spot 定價在預測 API 託管模型。

pariveda-data-lake-sagemaker-LP-logo

本快速入門由 Pariveda Solutions, Inc. 與 AWS 共同合作開發。Pariveda 是 APN 合作夥伴

  •  您將建置的項目
  •  如何部署
  •  成本和授權
  •  資源
  •  您將建置的項目
  • 本快速入門架構會建立以下內容:

    • 在 Amazon S3 建立結構化的資料湖,以保存原始、建模、增強和轉換的資料。
    • 用於保存特徵工程和轉換資料的分段儲存貯體,這些資料將會導入至 Amazon SageMaker。
    • AWS Lambda 上託管的資料轉換程式碼,用於準備原始資料以供使用和進行 ML 模型訓練,以及轉換資料輸入和輸出。
    • 透過 Lambda 函數進行的 Amazon SageMaker 自動化,可為新模型設計、管理和建立 REST 端點,並按照排程執行或當資料湖中的資料有所變更時加以觸發。
    • 用於託管公有 API 的 Amazon API Gateway 端點,讓開發人員能夠取得應用程式的歷史資料或預測。
    • Amazon Kinesis Data Streams 可以在導入、建模、增強和轉換階段即時處理新的資料。
    • Amazon Kinesis Data Firehose 可將建模和增強階段的結果交付給 Amazon S3 以實現耐久的儲存。
    • Amazon CloudWatch 儀表板,以監控資料轉換、模型訓練和預測端點的託管元件。
    • AWS SageMaker 筆記本伺服器,可利用 Jupyter 筆記本進行資料探索。
    • AWS Identity and Access Management (IAM) 可在每個處理元件執行最低權限原則。IAM 角色和政策會限制只能存取必要的資源。
    • 為每日 Amazon Elastic Compute Cloud (Amazon EC2) Spot 定價建立和更新預測模型的示範案例。
  •  如何部署
  • 您可以透過幾個簡單的步驟,在大約 10-15 分鐘內使用 AWS 上的 Amazon SageMaker 和資料湖建立您的預測資料科學環境:

    1. 如果您還沒有 AWS 帳戶,請在 https://aws.amazon.com 註冊。
    2. 啟動快速入門.。
    3. (選擇性) 使用提供的示範案例測試部署。
    4. (選擇性) 自行訓練 ML 模型。
  •  成本和授權
  • 您需自行負擔執行本快速入門參考部署時所使用的 AWS 服務的費用。使用本快速入門無須另外付費。

    本快速入門的 AWS CloudFormation 範本包含您可自訂的組態參數。部分設定 (如執行個體類型) 將會影響部署的成本。若要估算成本,請查看您將使用之每個 AWS 服務的定價頁面。定價會隨時變更。

    本快速入門使用原生 AWS 服務,因此無須其他授權。

  •  資源
  • 本快速入門參考部署與 Solution Space 中的解決方案有關,其中包括解決方案簡介、AWS 能力合作夥伴精心設計的選用諮詢服務,以及 AWS 在概念驗證 (PoC) 專案中的共同投資。要進一步了解這些資源,請瀏覽 Solution Space。