Amazon SageMaker Pipelines

第一個用於機器學習的專用 CI/CD 服務

大規模建立、自動化和管理端對端 ML 工作流程,包括大量資料、數千個訓練實驗和數百個模型版本

自動化 ML 工作流程的不同步驟,包括資料載入、資料轉換、訓練和調整,以及部署

共用和重複使用工作流程來重新建立或最佳化模型,以協助擴展 ML 和建置 MLOps 實務

主要特徵

編寫、管理和重複使用 ML 工作流程

借助 Amazon SageMaker Pipelines,您可以使用易於使用的 Python 開發套件建立 ML 工作流程,然後使用 Amazon SageMaker Studio 視覺化和管理工作流程。透過儲存和重複使用在 SageMaker Pipelines 中建立的工作流程步驟,您可以提高效率並加快擴展速度。您還可以使用內建範本快速開始建置、測試、註冊和部署模型,以便在 ML 環境中快速開始使用 CI/CD。

選擇用於部署到生產中的最佳模型

許多客戶有數百個工作流程,每個工作流程都有相同模型的不同版本。借助 SageMaker Pipelines 模型登錄檔,您可以在中央儲存庫中追蹤這些版本,並根據業務需求輕鬆選擇合適的模型進行部署。您可以使用 SageMaker Studio 瀏覽和發現模型,也可以透過 SageMaker Python 開發套件存取它們。

自動追蹤模型

Amazon SageMaker Pipelines 會記錄工作流程的每一步,建立模型元件的稽核追蹤,例如訓練資料、平台組態、模型參數和學習梯度。稽核追蹤可用於重新建立模型,並有助滿足合規要求。

將 CI/CD 引入機器學習

Amazon SageMaker Pipelines 將 CI/CD 實務引入機器學習,例如維護開發和生產環境之間的對等性、版本控制、隨需測試和端到端自動化,協助您在整個組織中擴展 ML。

客戶

iFood
「在 iFood,我們努力透過使用機器學習 (ML) 等技術,在服務中取悅客戶。……建置完整且無縫的工作流程來開發、訓練和部署模型,一直是我們擴展 ML 之旅的關鍵部分。Amazon SageMaker Pipelines 可協助我們快速建置多個可擴展的自動化 ML 工作流程,並使我們能夠輕鬆有效地部署和管理模型。SageMaker Pipelines 讓我們的開發週期更加高效。我們將繼續勇當先鋒,利用 AI/ML 以及 Amazon SageMaker 的所有這些新功能,提供卓越的客戶服務並提高效率。

iFood 首席資料科學家 Sandor Caetano

Invista
「在 Invista,我們以轉型為動力,並致力於開發造福全球客戶的產品和技術。我們將機器學習視為改善客戶體驗的一種方式,但是面對包含數億列資料的資料集,我們需要一個解決方案來幫助我們準備資料,以及大規模開發、部署和管理 ML 模型……我們可以使用 Amazon SageMaker Pipelines 輕鬆地大規模自動化和管理 ML 工作流程,從而輕鬆地將 ML 工作流程的各個步驟銜接起來……借助 Amazon SageMaker Pipelines,我們可以更快地實作 ML 工作流程。」

Invista 首席資料科學家 Caleb Wilkinson

Care.com
「一個供需平衡的強大照護產業不論是對於個別家庭,還是整個國家的 GDP 成長,都至關重要。我們對 Amazon SageMaker Pipelines 感到很興奮,因為我們相信,透過使用一組一致的經策管資料建置從資料準備到部署的端到端可擴展機器學習 (ML) 模型管道,我們能夠更好地跨各資料科學和開發團隊進行擴展。借助 Amazon SageMaker 新發佈的功能,我們可以加快針對不同應用的 ML 模型開發和部署,透過更快的即時建議協助我們的客戶做出更明智的決策。」

Care.com 資料科學經理 Clemens Tummeltshammer

3M
「借助 ML,3M 正在改進久經考驗的產品,如砂紙,並推動其他幾個領域的創新,包括醫療保健領域。當我們計劃將機器學習擴展到 3M 的更多領域時,我們看到資料和模型的數量正在迅速增長——每年都翻一番。我們對 SageMaker 的新功能充滿期待,因為這些功能能夠協助我們擴展。Amazon SageMaker Data Wrangler 使準備資料以進行模型訓練變得容易許多,而且透過利用 Amazon SageMaker 特徵存放區,我們再也不需要反复建立相同的模型特徵。最後,Amazon SageMaker Pipeline 將協助我們將資料準備、模型建置和模型部署整合到端到端工作流程中,實現自動化,從而讓我們加快模型的上市速度。我們的研究人員期待利用 3M 的新科學速度。」

3M 公司系統研究實驗室技術總監 David Frazee

資源

影片

如何使用 Amazon SageMaker Pipelines 建立全自動 ML 工作流程 (29:23)