一般問題

問:什麼是 Amazon SageMaker?

Amazon SageMaker 是一種全受管服務,可建置、訓練和部署機器學習 (ML) 模型,用於具有全受管基礎設施、工具和工作流程的任何使用案例。

問:哪些區域可以使用 Amazon SageMaker?

如需支援的 Amazon SageMaker AWS 區域清單,請參閱所有 AWS 全球基礎設施的 AWS 區域表。另外,如需詳細資訊,請參閱 AWS 一般參考中的區域和端點

問:什麼是 Amazon SageMaker 的服務可用性?

Amazon SageMaker 的設計可提供高可用性。沒有維護時段或計劃停機時間。SageMaker API 在 Amazon 經過驗證的高可用性資料中心執行,相關的服務堆疊複寫會在每個 AWS 區域的三個設施中進行設定,在伺服器故障或可用區域中斷等狀況提供容錯能力。

問:Amazon SageMaker 如何保護我的程式碼安全?

Amazon SageMaker 會將程式碼存放至 ML 儲存磁碟區並由安全群組進行保護,並可選擇在靜態時進行加密。

問:Amazon SageMaker 有哪些安全措施?

Amazon SageMaker 確保機器學習模型成品和其他系統成品在傳輸和靜止狀態下全部經過加密。對 SageMaker API 和主控台發出的請求,都是透過安全 (SSL) 連線進行。您將 AWS Identity and Access Management 角色交給 SageMaker,提供許可讓它代您存取訓練與部署時所需的資源。您可以將加密的 Simple Storage Service (Amazon S3) 儲存貯體用於模型成品和資料,還可以將 AWS Key Management Service (KMS) 金鑰交給 SageMaker 筆記本、訓練任務和端點,以加密連接的 ML 儲存磁碟區。Amazon SageMaker 還支援 Amazon Virtual Private Cloud (VPC) 和 AWS PrivateLink。

問:Amazon SageMaker 是否使用或共享模型、訓練資料或演算法?

Amazon SageMaker 不使用或共享客戶模型、訓練資料或演算法。我們深知客戶非常在乎隱私權與資料安全。這就是為什麼 AWS 透過簡單、強大的工具,允許您決定存放內容的位置、保護傳輸中和靜態內容的安全,以及管理使用者對 AWS 服務和資源的存取,讓您完全擁有及控制您的內容。我們也實作負責且複雜的技術與實體控制措施,旨在防止未經授權的存取或揭露您的內容。身為客戶,您保有自己內容的擁有權,由您選擇可處理、存放及託管內容的 AWS 服務。未經您的同意,我們不會出於任何目的存取您的內容。

問:使用 Amazon SageMaker 的費用為何?

您需支付用於託管筆記本、訓練模型、執行預測以及記錄輸出的 ML 運算、儲存和資料處理資源相關費用。您可以利用 Amazon SageMaker 為託管的筆記本、訓練和模型主機選擇要使用的執行個體數量和類型。您只需按實際用量付費;既沒有最低費用,也無需前期承諾。請參閱 Amazon SageMaker 定價頁面Amazon SageMaker 定價計算工具以了解詳細資訊。

問:如何最佳化 Amazon SageMaker 成本,例如偵測並停止閒置資源以避免不必要的費用?

您可以採用多種最佳實務來最佳化您的 Amazon SageMaker 資源使用率。某些方法涉及組態最佳化;另一些方法涉及程式設計解決方案。可以在此部落格文章中找到有關此概念的完整指南,以及視覺化教學和程式碼範例。

問:如果我有自己的筆記本、訓練或託管環境時該怎麼辦?

Amazon SageMaker 提供一套完整的端對端工作流程,不過現有的工具可以在 SageMaker 中繼續使用。您可以根據業務需求,輕鬆將每個階段的結果傳送至 SageMaker 或者從 SageMaker 傳送至其他地方。

問:Amazon SageMaker 是否支援 R?

是的,Amazon SageMaker 支援 R。您可以在 SageMaker 筆記本執行個體中使用 R,其中包括預先安裝的 R 核心和 reticulate 程式庫。Reticulate 提供 Amazon SageMaker Python SDK 的 R 介面,可讓 ML 從業人員建置、訓練、調整及部署 R 模型。 

問:如何檢查模型中的不平衡?

Amazon SageMaker Clarify 透過偵測整個 ML 工作流程中的統計偏差來協助提高模型透明度。SageMaker Clarify 可檢查資料準備期間、訓練後和持續時間內的不平衡,還包括有助於說明 ML 模型及其預測的工具。您可以透過可解釋性報告共享發現項目。

問:Amazon SageMaker Clarify 偵測哪些種類的偏差?

測量 ML 模型中的偏差是減少偏差的第一步。偏差可以在訓練前和訓練後進行測量,也可以用於已部署模型的推論。每次偏差測量都對應於不同的公平概念。即使考量簡單的公平概念,也會導致許多適用於各種環境的不同量值。您需要選擇對應用程式和正在調查的狀況有效的偏差概念和指標。SageMaker 目前支援運算訓練資料 (作為 SageMaker 資料準備的一部分)、訓練模型 (作為 SageMaker Experiments 的一部分) 和已部署模型的推論 (作為 SageMaker Model Monitor 的一部分) 的不同偏差指標。例如,在訓練之前,我們提供指標來檢查訓練資料是否具有代表性 (即,是否有一個群組的代表性不足),以及群組間的標籤分佈是否存在差異。在訓練之後或部署期間,指標有助於測量模型的效能在群組間是否 (以及在多大程度上) 不同。例如,可以從比較錯誤率 (一個模型的預測與真實標籤不同的可能性) 開始,或者進一步細分為精確度 (一個積極的預測正確的可能性) 和召回 (模型正確標記積極範例的可能性)。

問:Amazon SageMaker Clarify 如何提升模型可解釋性?

Amazon SageMaker Clarify 與 SageMaker Experiments 整合來提供功能重要性圖表,詳細說明模型訓練之後每個輸入對模型整體決策程序的重要性。這些詳細資訊可協助判斷特定模型輸入對整體模型行為的影響是否比預期更大。SageMaker Clarify 還透過 API 對單個預測進行解釋。
 

問:什麼是 Amazon SageMaker Studio?

Amazon SageMaker Studio 提供單一的 Web 視覺化界面,您可以在其中執行所有 ML 開發步驟。SageMaker Studio 讓您可以完全存取、控制和洞察在建立、訓練和部署模型時需要執行的每個步驟。您可以快速上傳資料,創建新的筆記本,訓練和調整模型,在步驟之間來回移動以調整實驗,比較結果,以及將模型部署至一處,讓您的工作更有效率。在統一的 SageMaker Studio 視覺化界面中可以執行所有 ML 開發活動,包括筆記本、實驗管理、自動建立模型、偵錯和分析,以及模型偏離偵測。

問:什麼是 RStudio on SageMaker?

Amazon SageMaker Studio 提供基於 Web 的視覺介面,以輕鬆以 Python 語言建置模組。您還可以使用 RStudio on SageMaker (雲端中第一個全受管的 RStudio Workbench) 中的彈性運算資源以 R 語言分析和視覺化 ML 的資料。

問:Amazon SageMaker Studio 定價為何?

使用 Amazon SageMaker Studio 無須額外付費。您只需支付在 Amazon SageMaker Studio 內使用的服務的基礎運算和儲存費用。

問:哪些區域支援 Amazon SageMaker Studio?

您可以在此處的文件中找到支援 Amazon SageMaker Studio 的區域。

低程式碼 ML

問:什麼是 Amazon SageMaker Autopilot?

Amazon SageMaker Autopilot 是業界第一個自動機器學習功能,可讓您完全控制和深入了解機器學習 (ML) 模型。SageMaker Autopilot 會自動檢查原始資料、套用功能處理器、選擇最佳演算法集、訓練和調整多個模型、追蹤其效能,然後根據效能對模型進行排名,所有動作都只需按幾下滑鼠即可完成。因此,通常只需訓練模型所花時間的一小部分,即可部署效能最佳的模型。您可以全面了解模型的建立方式,以及模型的內容,且 SageMaker Autopilot 與 Amazon SageMaker Studio 整合。您可以在 SageMaker Studio 中探索多達 50 種由 SageMaker Autopilot 產生的不同模型,進而輕鬆地為您的使用案例選擇最佳模型。沒有 ML 經驗的使用者可以使用 SageMaker Autopilot 輕鬆製作模型,經驗豐富的開發人員則可使用 SageMaker Autopilot 快速開發團隊可進一步反覆使用的基線模型。

問:Amazon SageMaker Autopilot 支援哪些內建的演算法?

Amazon SageMaker Autopilot 支援 2 種內建演算法:XGBoost 和 Linear Learner。

問:是否可以手動停止 Amazon SageMaker Autopilot 任務?

是。您可以隨時停止任務。停止 Amazon SageMaker Autopilot 任務後,所有進行中的試驗都將停止,並且不會啟動新的試驗。

問:如何快速開始使用 Amazon SageMaker?

Amazon SageMaker JumpStart 可協助您快速、輕鬆地入門機器學習。SageMaker JumpStart 為最常見的使用案例提供了一組解決方案,只需按幾下即可輕鬆部署。這些解決方案是完全可自訂的,並展示了 AWS CloudFormation 範本和參考架構的使用,以便您可以加快 ML 之旅。SageMaker JumpStart 還支援一鍵式部署和微調 150 多種熱門開放原始碼模型,如轉換器、物件偵測和影像分類模型。 

問:Amazon SageMaker JumpStart 支援哪些開放原始碼模型?

Amazon SageMaker JumpStart 包括來自 PyTorch Hub 和 TensorFlow Hub 的 150 多個預先訓練的開放原始碼模型。對於影像分類和物件偵測等視覺任務,您可以利用 ResNet、MobileNet 和 Single-Shot Detector (SSD) 之類的模型。對於句子分類、文字分類和問答等文字任務,您可以使用 BERT、RoBERTa 和 DistilBERT 之類的模型。

問:Amazon SageMaker JumpStart 已預先建置哪些解決方案?

SageMaker JumpStart 包含一些解決方案,這些解決方案已預先設定將解決方案投入生產所需的所有 AWS 服務。解決方案是完全可自訂的,以便您可以輕鬆修改它們以適合您的特定使用案例和資料集。您可以將解決方案用於超過 15 個使用案例,包括需求預測、詐騙偵測和預測性維護,只需按幾下即可輕鬆部署解決方案。如需所有可用解決方案的詳細資訊,請造訪 SageMaker 入門頁面。 

問:Amazon SageMaker JumpStart 的定價如何計算?

從 SageMaker JumpStart 啟動的 AWS 服務 (如訓練任務和端點) 將根據 SageMaker 定價向您收費。 使用 Amazon SageMaker JumpStart 無須額外付費。

問:什麼是 Amazon SageMaker Canvas?

Amazon SageMaker Canvas 是一項無程式碼服務,具有直觀、視覺化、點按式介面,可讓您輕鬆地透過資料建立高度準確、以 ML 為基礎的預測。SageMaker Canvas 可讓您使用拖放式使用者介面存取和組合來自各種來源的資料,自動清理和準備資料以最大限度地減少手動清理,套用各種最先進的 ML 演算法來尋找高度準確的預測模型,並提供直觀的介面來進行預測。您可以使用 SageMaker Canvas 在各種商業應用程式中進行更精確的預測,並透過共享模型、資料和報告輕鬆與企業中的資料科學家和分析師協作。 若要進一步了解 SageMaker Canvas,請瀏覽 Canvas FAQ 頁面。

機器學習工作流程

問:如何使用 Amazon SageMaker 建置持續整合和持續交付 (CI/CD) 管道?

Amazon SageMaker Pipelines 可協助您建立從資料準備至模型部署的全自動 ML 工作流程,這樣您就可以在生產中擴展至數千個 ML 模型。SageMaker Pipelines 隨附 Python 軟體開發套件,它連接至 SageMaker Studio,以便您可以充分利用視覺界面來建置工作流程的每個步驟。然後使用單一 API,您可以連接每個步驟以建立端對端工作流程。SageMaker Pipelines 負責管理步驟之間的資料,封裝程式碼配方,並協調其執行,將數月的編碼時間縮短到幾小時。每次工作流程執行時,都會保留處理的資料和採取的動作的完整記錄,以便資料科學家和 ML 開發人員可以快速地對問題偵錯。

問:我如何檢視我的所有已訓練模型,以選擇要移至生產的最佳模型?

Amazon SageMaker Pipelines 提供了已訓練模型的中央儲存庫,稱為模型登錄檔。您可以透過 SageMaker Studio 以視覺化方式或透過 Python 軟體開發套件以程式設計方式探索模型並存取模型登錄檔,從而輕鬆地選擇部署至生產所需的模型。

問:Amazon SageMaker 的哪些元件可以新增至 Amazon SageMaker Pipelines?

Amazon SageMaker Studio 中可用的元件 (包括 SageMaker Clarify、SageMaker Data Wrangler、SageMaker Feature Store、SageMaker Experiments、SageMaker Debugger 和 SageMaker Model Monitor) 可以新增至 SageMaker Pipelines。

問:如何在整個 ML 工作流程中追蹤我的模型元件?

Amazon SageMaker Pipelines 會自動追蹤所有模型組成部分,並保留所有變更的稽核線索,從而消除手動追蹤,並可協助您實現合規目標。您可以使用 SageMaker Pipelines 追蹤資料、代碼、已訓練模型等等。

問:Amazon SageMaker Pipelines 的定價如何計算?

使用 Amazon SageMaker Pipelines 無須額外付費。您只需為 SageMaker Pipelines 內使用的基礎運算或任何單獨的 AWS 服務付費。

問:如何將 Kubeflow 與 Amazon SageMaker 搭配使用?

是。Amazon SageMaker Components for Kubeflow Pipelines 是開放原始碼外掛程式,可讓您使用 Kubeflow Pipelines 定義 ML 工作流程,以及透過 SageMaker 進行資料標記、訓練和推論步驟。Kubeflow Pipelines 是 Kubeflow 的附加元件,可用來建置和部署可移植和可擴展的端對端 ML 管道。不過,使用 Kubeflow Pipeline 時,ML 維運團隊需要管理含有 CPU 和 GPU 執行個體的 Kubernetes 叢集,並始終維持高使用率以降低操作成本。在資料科學團隊中最大限度地使用叢集是一項挑戰,並會增加 ML 維運團隊的額外操作開銷。作為 ML 優化 Kubernetes 叢集的替代方案,您可以透過 Amazon SageMaker Components for Kubeflow Pipelines,利用 SageMaker 的強大功能,例如資料標記、全受管大規模超參數調整和分散式訓練任務、一鍵式安全和可擴展的模型部署,以及使用 Amazon EC2 Spot 執行個體進行經濟實惠的訓練,無須特別設定和管理 Kubernetes 叢集來執行 ML 任務。

問:Amazon SageMaker Components for Kubeflow Pipelines 的定價如何計算?

使用 Amazon SageMaker Components for Kubeflow Pipelines 無須額外付費。 

準備資料

問:Amazon SageMaker 如何為 ML 準備資料?

Amazon SageMaker Data Wrangler 可減少少為 ML 彙總和準備資料所需的時間。透過 SageMaker Studio 的單一界面,您可以從 Simple Storage Service (Amazon S3)、Amazon Athena、Amazon Redshift、AWS Lake Formation 和 Amazon SageMaker Feature Store 匯入資料,只需按幾下 SageMaker Data Wrangler 就會自動載入、彙總和顯示原始資料。然後,它將根據來源資料提出轉換建議,將資料轉換為新功能,驗證這些功能,並為視覺化效果提供有關如何移除常見錯誤來源 (如不正確的標籤) 的建議。在準備資料後,您可以使用 Amazon SageMaker Pipelines 建置完全自動化的 ML 工作流程,或將資料匯入 Amazon SageMaker Feature Store

問:如何使用 Amazon SageMaker Data Wrangler 建立模型功能?

無需編寫一行代碼,Amazon SageMaker Data Wrangler 就可自動將資料轉換為新功能。SageMaker Data Wrangler 提供一系列預先設定的資料轉換,如轉換欄類型、一個熱編碼、使用平均值或中位數歸於遺失資料、重新調整欄大小以及資料/時間嵌入。例如,您可以按一下即可將文字欄位欄轉換為數值欄,或使用 PySpark、SQL 和 Pandas 編寫自定義轉換。

問:如何在 Amazon SageMaker Data Wrangler 中視覺化我的資料?

Amazon SageMaker Data Wrangler 透過一組强大的預先設定的視覺化範本協助您了解資料並識別潜在錯誤和極值。無需編寫一行代碼,長條圖、散佈圖和特定於 ML 的視覺化效果 (如目標外洩偵測) 都可使用。您也可以建立和編輯自己的視覺化效果。

問:Amazon SageMaker Data Wrangler 的定價如何計算?

您需為用於 Amazon SageMaker Data Wrangler 的所有 ML 運算、儲存和資料處理資源付費。您可以在此处檢閱 Amazon SageMaker Data Wrangler 定價的所有詳細資訊。作為 AWS 免費方案的一部分,您也可以免費開始使用 SageMaker Data Wrangler。

問:如何使用在 Amazon SageMaker Data Wrangler 中準備的資料來訓練機器學習模型?

SageMaker Data Wrangler 提供統一的體驗,讓您能夠準備資料,並在 SageMaker Autopilot 中無縫訓練機器學習模型。Amazon SageMaker Autopilot 會根據您的資料自動建置、訓練和調整最佳 ML 模型。使用 SageMaker Autopilot,您仍然可以保持對資料和模型的完全控制和可視性。SageMaker Data Wrangler 還提供匯出選項,包括 SageMaker Data Wrangler 任務、Amazon SageMaker Feature Store 和 Amazon SageMaker Pipelines,讓您能夠將資料準備程序整合至 ML 工作流程中。

問:如何存放 ML 模型的功能?

Amazon SageMaker Feature Store 為具有低延遲 (毫秒) 讀取和寫入的資料功能的中央儲存庫。您可以透過「SageMaker 特徵存放區」存放、擷取、探索和共享功能,以透過安全存取和控制在模型與團隊之間輕鬆重複使用。SageMaker Feature Store 同時支援透過批次或串流管道產生的線上和離線功能。它支援回填功能,並同時提供線上和離線存放區,以維護模型訓練和推論中使用的功能之間的同位檢查。

問:如何維護線上與離線功能之間的一致性?

Amazon SageMaker Feature Store 會自動維護線上與離線功能之間的一致性,無需額外的管理或代碼。SageMaker Feature Store 是全受管的,會維護訓練和推論環境中的一致性。

問:如何在指定的時間內及時重新產生功能?

Amazon SageMaker Feature Store 會維護任何時間所有功能的時間戳記。這可協助您在任何時段根據業務或合規要求擷取功能。透過在指定的時間內及時重新產在模型,您可以輕鬆解釋從最初建立時間至目前的模型功能及其值。

問:什麼是離線功能?

離線功能用於訓練,因為您需要在很長時段內存取非常大的磁碟區。這些功能由一個高輸送量、高頻寬的儲存庫提供。

問:什麼是線上功能?

線上功能用於進行即時預測所需的應用程式。線上功能由高輸送量儲存庫提供,延遲不到 10 毫秒,可快速預測。

問:Amazon SageMaker Feature Store 的定價如何計算?

作為 AWS 免費方案的一部分,您可以免費開始使用 Amazon SageMaker Feature Store。使用 SageMaker Feature Store,您需為寫入到功能存放區以及從線上功能存放區讀取和儲存付費。如需定價詳情,請參閱 SageMaker 定價頁面

問:Amazon SageMaker 為資料標記提供什麼?

Amazon SageMaker 提供兩種資料標記產品,即 Amazon SageMaker Ground Truth Plus 和 Amazon SageMaker Ground Truth。這兩個選項都可讓您識別原始資料 (例如影像、文字檔案和影片),並新增資訊類標籤來為您的 ML 模型建立高品質的訓練資料集。若要進一步了解,請瀏覽 SageMaker 資料標記網頁。

建置模型

問:什麼是 Amazon SageMaker Studio 筆記本?

Amazon SageMaker Studio 筆記本是協作、彈性、受管的 Jupyter 筆記本,屬於適用於 ML 的完全整合式開發環境 Amazon SageMaker Studio 中的部分。

問:SageMaker Studio 筆記本與執行個體型筆記本產品有何不同?

SageMaker Studio 筆記本有幾項重要特色,與執行個體型筆記本形成區隔。憑藉 Studio 筆記本,您可以快速啟動筆記本,而無須手動佈建執行個體並等待其運作。為了閱讀和執行筆記本而開啟 UI 時,啟動時間比執行個體型筆記本快速。

您還能隨時在 UI 內靈活地選擇大量的執行個體類型。您不需要移至 AWS 管理主控台,即可啟動新執行個體並移植筆記本。

每位使用者都有與特定執行個體分開獨立的隔離主目錄。此目錄啟動時會自動掛載至所有筆記本伺服器和 Kernel,因此在您切換執行個體以檢視和執行筆記本時,仍然能夠存取筆記本和其他檔案。

SageMaker Studio 筆記本與 AWS IAM Identity Center (AWS SSO 的後繼者) 整合,能讓您輕鬆使用組織憑證存取筆記本。筆記本共用是 SageMaker Studio 筆記本中的整合功能。此外,您點按一下,即可與夥伴共享筆記本。

問:Amazon SageMaker Studio 筆記本的運作方式為何?

Amazon SageMaker Studio 筆記本是一鍵式的 Jupyter 筆記本,能迅速啟動。基礎運算資源極具彈性,因此您可以輕鬆地調高或調低可用資源,而變更會在背景自動進行,不會中斷您的工作。SageMaker 還支援一鍵式共用筆記本。您可輕鬆地與他人共享筆記本,對方將獲得完全相同的筆記本,且儲存在同一位置。

使用 SageMaker Studio 筆記本時,您可以利用 AWS IAM Identity Center (AWS SSO 的後繼者) 以公司憑證進行登入。在團隊內部和團隊之間共用筆記本很容易,因為共享時,會在與筆記本封裝的工作映像中自動追蹤執行筆記本所需的相依性。

問:Amazon SageMaker Studio 筆記本如何與其他 AWS 服務搭配使用?

Amazon SageMaker Studio 筆記本讓您可以使用所有 SageMaker 功能,例如分散式訓練、批次轉換、託管和實驗管理。您可以從 SageMaker 筆記本存取其他服務,例如 Simple Storage Service (Amazon S3)、Amazon Redshift、AWS Glue、Amazon EMR 或 AWS Lake Formation 中的資料集。

問:SageMaker Studio 筆記本定價為何?

使用 SageMaker Studio 筆記本時,需要支付運算和儲存費用。請參閱 Amazon SageMaker 定價,了解各種運算執行個體類型的費用。您的筆記本和相關成品 (如資料檔案和指令碼) 會存放在 Amazon EFS。請參閱 Amazon EFS 定價以了解儲存費用。Amazon SageMaker Studio 筆記本是 AWS 免費方案的一部分,可免費開始使用。

問:在 SageMaker Studio 建立和執行的每個筆記本是否要個別計費?

否。您可以在相同的運算執行個體上建立和執行多個筆記本。您只需支付使用的運算費用,而非個別項目。如需詳細資訊,請參閱我們的計量指南

除了筆記本,您還能在 Studio 啟動和執行終端機和互動殼層,這些都可在相同的運算執行個體上完成。每個應用程式都在容器或映像內執行。SageMaker Studio 可針對資料科學和 ML,提供多種專用和預先設定的內建映像。如需 Studio 開發人員環境的詳細資訊,請參閱指南中的使用 SageMaker Studio 筆記本

問:如何監控和關閉筆記本使用的資源?

您可以透過 SageMaker Studio 視覺化界面和 AWS 管理主控台,監控和關閉 SageMaker Studio 筆記本使用的資源。 請參閱文件以獲得詳細資訊。

問:我正在執行 SageMaker Studio 筆記本。如果關閉瀏覽器、關閉筆記本標籤或單純讓瀏覽器保持開啟,是否仍然需要付費?

是,您需要持續支付運算的費用。這與在 AWS 管理主控台啟動 Amazon EC2 執行個體,然後關閉瀏覽器的情況相似。Amazon EC2 執行個體還在執行中,除非您明確關閉執行個體,否則仍須付費。

問:建立和設定 Studio 網域是否需要付費?

否,建立或設定 Studio 網域無須付費,包含新增、更新和刪除使用者設定檔。

問:如何查看 Studio 筆記本或其他 SageMaker 服務的分項費用?

作為管理員,您可以在 AWS 帳單主控台查看包含 Studio 在內的 SageMaker 分項費用。從 SageMaker 的 AWS 管理主控台,在上方選單選擇服務、在搜尋方塊輸入帳單、從下拉式清單選取「帳單」,然後在左側面板選取帳單。在「詳細資訊」部分,可以按一下 SageMaker 展開區域清單,然後逐一查看分項費用。

問:什麼是 Amazon SageMaker Studio Lab?

Amazon SageMaker Studio Lab 是一個免費的 ML 開發環境,免費提供運算、儲存 (高達 15GB) 和安全,供任何人使用 ML 進行學習和實驗。您只需一個有效的電子郵件 ID 即可開始使用,無需設定基礎設施或管理身分和存取權限,甚至無需註冊 AWS 帳戶。SageMaker Studio Lab 透過 GitHub 整合加速模型建置,已預先設定最熱門的 ML 工具、架構和程式庫,可讓您立即開始使用。SageMaker Studio Lab 會自動儲存您的工作,因此您無需在工作階段之間重新啟動。就像關閉筆記型電腦然後再回來一樣簡單。

問:為何應該使用 Amazon SageMaker Studio Lab?

Amazon SageMaker Studio Lab 適用於需要免費筆記本開發環境且無需設定 ML 課程和實驗的學生、研究人員和資料科學家。Amazon SageMaker Studio Lab 非常適合不需要生產環境但仍希望使用 SageMaker 功能的子集來提高 ML 技能的使用者。SageMaker 工作階段會自動儲存,可讓使用者從每個使用者工作階段的中斷處繼續。

問:Amazon SageMaker Studio Lab 如何與其他 AWS 服務搭配使用?

Amazon SageMaker Studio Lab 是一項建置在 AWS 上的服務,它利用許多與 Amazon SageMaker Studio 相同的核心服務,例如 Simple Storage Service (Amazon S3) 和 Amazon EC2。與其他服務不同,客戶不需要 AWS 帳戶。相反,他們將使用電子郵件地址建立 Amazon SageMaker Studio Lab 特定帳戶。這將讓使用者可以存取有限的環境 (15 GB 的儲存空間和 12 小時的工作階段),以便他們執行 ML 筆記本。

問:什麼是 Amazon SageMaker Canvas?

Amazon SageMaker Canvas 是一種視覺化、拖放式服務,可讓商業分析師建置 ML 模型並產生準確的預測,而無需編寫任何程式碼,也無需 ML 專業知識。SageMaker Canvas 可讓您輕鬆存取和組合來自各種來源的資料,自動清理資料並套用各種資料調整,並建置 ML 模型以透過按一下產生準確的預測。您還可以輕鬆發佈結果、解釋和解釋模型,以及與組織內的其他人共享模型以進行檢閱。

問:Amazon SageMaker Canvas 支援哪些資料來源?

SageMaker Canvas 可讓您無縫地探索您的帳戶有權存取的 AWS 資料來源,包括 Simple Storage Service (Amazon S3) 和 Amazon Redshift。您可以使用 SageMaker Canvas 視覺化、拖放式介面瀏覽和匯入資料。此外,您可以從本機磁碟拖放檔案,並使用預先建置的連接器從第三方來源 (如 Snowflake) 匯入資料。

問:如何建置 ML 模型以產生準確的預測?

連接來源、選取資料集並準備資料後,您可以選取要預測的目標資料欄以起始模型建立任務。Amazon SageMaker Canvas 將自動識別問題類型,產生新的相關功能,使用 ML 技術 (例如線性
迴歸、邏輯迴歸、深度學習、時間序列預測和梯度提升) 測試一組全面的預測模型,並建置根據您的資料集進行準確預測的模型。

問:建置模型需要多長時間? 如何在模型建立期間監控進度?

建置模型所需的時間取決於資料集的大小。小型資料集可能需要不到 30 分鐘,大型資料集可能需要幾小時。隨著模型建立任務的進行,Amazon SageMaker Canvas 會提供詳細的視覺化更新,包括任務完成百分比和作業完成剩餘的時間。

訓練模型

問:什麼是 Amazon SageMaker Experiments?

Amazon SageMaker Experiments 可協助您組織和追蹤 ML 模型的反覆執行。SageMaker Experiments 透過自動擷取輸入參數、組態和結果,並將其儲存為「實驗」來協助您管理反覆。您可以在 SageMaker Studio 的視覺化界面中操作,在其中瀏覽作用中的實驗、按其特徵搜尋先前的實驗、檢閱之前的實驗及其結果,以及以視覺化方式比較實驗結果。

問:什麼是 Amazon SageMaker Debugger?

Amazon SageMaker Debugger 可在訓練期間自動擷取即時指標 (如混淆矩陣和學習梯度),來協助提高模型準確性。在 SageMaker Studio 中,可將 SageMaker Debugger 中的指標視覺化呈現以方便理解。當偵測到常見訓練問題時,SageMaker Debugger 也可以產生警告和補救建議。SageMaker Debugger 還可即時自動監控和分析系統資源 (如 CPU、GPU、網絡和記憶體),並提供有關重新分配這些資源的建議。這可讓您在訓練期間有效地使用資源,並有助於降低成本和資源。

問:Amazon SageMaker 是否支援分散式訓練?

是。Amazon SageMaker 可以自動在 AWS GPU 執行個體中分配深度學習模型和大型訓練集,而只需手動建置和最佳化這些分配策略所需的一小部分時間。SageMaker 套用的兩種分散式訓練技術是資料平行處理和模型平行處理。套用資料平行處理,可透過在多個 GPU 執行個體之間平均分配資料來提高訓練速度,允許每個執行個體同時訓練。對於太大而無法存放在單一 GPU 上,且在分配到多個 GPU 之前需要將模型分割為更小部分的的模型,模型平行處理很有用。在 PyTorch 和 TensorFlow 訓練指令碼中只需幾行額外代碼,SageMaker 將自動為您套用資料平行處理或模型平行處理,讓您更快地開發和部署模型。SageMaker 將使用圖形分割演算法判斷分割模型的最佳方法,以平衡每個 GPU 的運算,同時盡量減少 GPU 執行個體之間的通訊。SageMaker 還透過可充分利用 AWS 運算和網絡的演算法最佳化您的分散式訓練任務,以實現近線性擴展效率,這樣可讓您比手動開放原始碼實作更快地完成訓練。

問:什麼是 SageMaker Training Compiler?

Amazon SageMaker Training Compiler 是一種深度學習 (DL) 編譯器,可透過圖形和核心層級最佳化將 DL 模型訓練速度提升高達 50%,從而更有效地使用 GPU。Training Compiler 與 SageMaker 中的 TensorFlow 和 PyTorch 版本整合,因此您可以在這些熱門架構中以最少的程式碼變更加速訓練。

問:SageMaker Training Compiler 如何運作?

SageMaker Training Compiler 透過將 DL 模型從高階語言表示轉換為硬體最佳化指示來加速訓練任務,這些指示比使用原生架構的任務訓練速度更快。更具體地說,SageMaker Training Compiler 使用圖形層級最佳化 (運算子融合、記憶體規劃和代數簡化)、資料流程層級最佳化 (佈局轉換、共同子表達式消除) 和後端最佳化 (記憶體延遲隱藏、迴圈導向最佳化) 以產生最佳化的模型訓練任務,此任務更有效地使用硬體資源,因此訓練速度更快。

問:如何使用 SageMaker Training Compiler?

Amazon SageMaker Training Compiler 內建於 SageMaker Python SDK 和 SageMaker Hugging Face Deep Learning Containers。您無需變更工作流程即可獲得加速優勢。您可以使用任何 SageMaker 介面,以與之前相同的方式執行訓練任務:Amazon SageMaker 筆記本執行個體、SageMaker Studio、適用於 Python 的 AWS SDK (Boto3) 和 AWS Command Line Interface。您可以在建立架構估算器物件時,透過新增 TrainingCompilerConfig 類別作為參數來啟用 SageMaker Training Compiler。實際上,這意味著將幾行程式碼新增至單一 GPU 執行個體的現有訓練任務指令碼。文件中提供了最新的詳細文件、範例筆記本和範例。

問:SageMaker Training Compiler 的定價為何?

Training Compiler 是一項 SageMaker Training 功能,專門為 SageMaker 客戶免費提供。隨著訓練時間的減少,客戶實際上可以使用 Training Compiler 降低成本。

問:什麼是受管 Spot 訓練?

受管 Spot 訓練與 Amazon SageMaker 搭配使用,可讓您透過 Amazon EC2 Spot 執行個體訓練 ML 模型,同時減少訓練模型的費用高達 90%。

問:如何使用受管 Spot 訓練?

您可以在提交訓練任務時啟用「受管 Spot 訓練」選項,也可以指定要等待 Spot 容量的時間。然後,Amazon SageMaker 將使用 Amazon EC2 Spot 執行個體來執行任務並管理 Spot 容量。不管訓練任務正在執行還是正在等待容量,您都可以完全看到訓練任務的狀態。

問:何時應該使用受管 Spot 訓練?

當您可以靈活地執行訓練以及想要儘量降低訓練任務的費用時,受管 Spot 訓練是理想選擇。使用受管 Spot 訓練,您可以減少訓練 ML 模型的費用高達 90%。

問:受管 Spot 訓練如何運作?

受管 Spot 訓練將 Amazon EC2 Spot 執行個體用於訓練,且在 AWS 需要容量時可以優先佔用這些執行個體。因此,在容量可用時,受管 Spot 訓練任務能以較小的增量執行。發生中斷時,不需要從頭重新啟動訓練任務,因為 Amazon SageMaker 可以使用最新模型檢查點恢復訓練任務。內建架構和內建電腦視覺演算法與 SageMaker 搭配使用可啟用定期檢查點,您還可以使用自訂模型啟用檢查點。

問:使用受管 Spot 訓練是否需要定期檢查點?

我們建議使用定期檢查點作為長期執行訓練任務的一般最佳實務。如果優先佔用容量,這可阻止受管 Spot 訓練任務重新啟動。啟用檢查點時,Amazon SageMaker 會從上一個檢查點繼續受管 Spot 訓練任務。

問:如何使用受管 Spot 訓練任務計算節省的費用?

完成受管 Spot 訓練任務後,您可以在 AWS 管理主控台中查看節省的費用,也可以用訓練任務執行的持續時間與計費的持續時間之間的百分比差異來計算節省的費用。

無論受管 Spot 訓練任務中斷多少次,都只需按下載資料的持續時間支付費用。

問:哪些執行個體可以與受管 Spot 訓練搭配使用?

受管 Spot 訓練可以與 Amazon SageMaker 中支援的所有執行個體搭配使用。

問:受管 Spot 訓練支援哪些 AWS 區域?

目前提供 Amazon SageMaker 的所有 AWS 區域都支援受管 Spot 訓練。

問:對於可用於訓練的資料集是否有大小限制?

利用 Amazon SageMaker 訓練模型時,資料集的大小沒有一定的限制。

問:Amazon SageMaker 使用什麼演算法來產生模型?

Amazon SageMaker 包括線性回歸、邏輯回歸、K 均值叢集、主體元件分析、因式分解機器、神經主題建模、隱含狄利克雷分布、梯度提升樹、sequence2sequence、時間序列預測、word2vec 和影像分類等內建演算法。SageMaker 還提供優化的 Apache MXNet、Tensorflow、Chainer、PyTorch、Gluon、Keras、Horovod、Scikit-learn 和 Deep Graph Library 容器。此外,如果 Docker 影像符合記載的規格,Amazon SageMaker 也可以支援透過它提供的自訂訓練演算法。

問:什麼是自動模型調校?

大多數 ML 演算法都會公開用來控制基礎演算法運作方式的各種參數。這些參數一般稱為超參數,它們的值會影響訓練模型的品質。自動模型調校是為演算法找出一組超參數的程序,以產出優化的模型。

問:透過自動模型調校可調整哪些模型?

只要符合科學,您就可以在 Amazon SageMaker 的任何演算法上執行自動模型調校,包括內建 SageMaker 演算法、深度神經網路,或您以 Docker 影像格式帶入 SageMaker 的任意演算法。

問:是否可在 Amazon SageMaker 以外使用自動模型調校?

目前不可以。在 Amazon SageMaker 內才能獲得最佳的模型調校效能和體驗。

問:什麼是基礎調校演算法?

目前,我們的調校超參數演算法是貝葉斯優化的自訂實作。主要目標是在調校過程中,優化客戶指定的目標指標。具體來說,它會檢查已完成訓練任務的物件指標,然後利用知識來推論超參數組合,以應用在下一個訓練任務。

問:是否可建議調校專用的特定超參數?

否。特定超參數對模型效能的影響程度取決於多個因素,很難肯定的說某個超參數比其他更為重要,所以需要調校。對於 Amazon SageMaker 中的內建演算法,我們會確定某個超參數是否可進行調校。

問:執行超參數調校任務需要多長的時間?

超參數調校任務所需的時間取決於多個因素,包括資料大小、基礎演算法,還有超參數的值。此外,客戶可以選擇同時訓練任務的數量和訓練任務的總數。這些選擇都會影響超參數調校任務持續的時間長度。

問:是否可像最佳化模型一樣同時最佳化多個目標,使其又快又準確?

目前沒有。目前,您需要指定單一目標指標來優化或變更演算法程式碼以發出新指標,這是兩個或多個實用指標間的加權平均,讓調校程序針對該目標指標進行優化。

問:自動模型調校的費用為何?

超參數調校任務本身不需任何費用。但需根據模型訓練定價,依照超參數調校任務啟動的訓練任務支付費用。

問:我如何決定使用 Amazon SageMaker Autopilot 或自動模型調整?

Amazon SageMaker Autopilot 讓典型的 ML 工作流程完全自動化,包括功能預先處理、演算法選擇和超參數調整,同時特別重視分類和回歸使用案例。另一方面,自動模型調整旨在調整任何模型,無論它是以內建演算法、深度學習架構或者是自訂容器為基礎。為了獲得靈活性,您必須手動選擇特定演算法、要調整的超參數以及相應的搜尋範圍。

問:什麼是強化學習?

強化學習是一項 ML 技術,可讓代理程式利用來自其動作和體驗的意見反應嘗試錯誤,在互動式環境中學習。

問:我可以在 Amazon SageMaker 中訓練強化學習模型嗎?

是的,除了受監督和未受監督的學習模型外,您還可以在 Amazon SageMaker 中訓練強化學習模型。

問:強化學習與受監督學習有何不同?

雖然受監督和強化學習在輸入和輸出之間都使用映射,不同於受監督學習提供給代理程式的意見反應是用於執行任務的正確動作集,強化學習使用延遲的意見反應,當中的獎勵信號會經過最佳化以透過一序列的動作確保長期目標。

問:何時應該使用強化學習?

受監督學習技術的目標是要根據訓練資料中的模式來找到最好的答案,而無監督學習技術的目標是要找到資料點之間的相似性和差異性。相對來說,強化學習 (RL) 技術的目標是要學習如何達到想要的成果,甚至是在不清楚如何達成該成果時。因此,RL 更適合用來啟用代理程式可以進行自主性決策的智慧型應用程式,例如自駕車、HVAC、產業控制等等。

問:我可以對訓練 RL 模型使用什麼類型的環境?

Amazon SageMaker RL 針對訓練 RL 模型支援許多不同的環境。您可以使用 AWS 服務,例如 AWS RoboMaker、開放原始碼環境或使用 Open AI Gym 界面開發的自訂環境,或是商業模擬環境,例如 MATLAB 和 SimuLink。

問:我是否需要編寫我自己的 RL 代理程式演算法以訓練 RL 模型?

不需要,Amazon SageMaker RL 包含的 RL 工具組 (例如 Coach and Ray RLLib) 可提供 RL 代理程式演算法 (例如 DQN、PPO、A3C 等等) 的實作。

問:我可以使用自己的 RL 程式庫和演算法實作,並且在 Amazon SageMaker RL 中執行嗎?

是的,您可以在 Docker 容器中使用自己的 RL 程式庫和演算法實作,並且在 Amazon SageMaker RL 中執行這些項目。

問:是否可以使用 Amazon SageMaker RL 執行分散式推展?

是。您甚至可以選取異質性叢集,其中的訓練可以在單一 GPU 執行個體上執行,而模擬可以在多個 CPU 執行個體上執行。

部署模型

問:Amazon SageMaker 提供哪些部署選項?

在您建置和訓練模型之後,Amazon SageMaker 提供了三個用於部署的選項,以便您可以開始進行預測。即時推論適用於具有毫秒級延遲要求、承載大小高達 6 MB、且處理時間最多 60 秒的工作負載。批次轉換非常適合對大批資料進行離線預測,這些資料可以提前使用。非同步推論專為沒有低於一秒延遲要求、承載大小高達 1GB 且處理時間最多 15 分鐘的工作負載而設計。 

問:什麼是 SageMaker 非同步推論?

Amazon SageMaker 非同步推論可將傳入的請求排入佇列,並以非同步方式處理。此選項非常適合具有承載大小很大和/或處理時間長的請求,這些請求在到達時需要進行處理。您可以選擇性設定自動擴展設定,以在未主動處理請求時將執行個體計數縮減規模為零,從而節省成本。 

問:如何設定自動擴展設定,以在未主動處理請求時將執行個體計數縮減規模為零?

您可以在未主動處理請求時將 Amazon SageMaker 非同步推論端點執行個體計數縮減規模為零,以節省成本。您需要定義依 "ApproximateBacklogPerInstance" 自訂指標擴展的擴展政策,並將 "MinCapacity" 值設定為零。如需逐步說明,請瀏覽開發人員指南的自動擴展非同步端點部分。 

問:什麼是 Amazon SageMaker Serverless Inference?

Amazon SageMaker Serverless Inference 是一個專用無伺服器模型服務選項,可以輕鬆部署和擴展 ML 模型。SageMaker Serverless Inference 端點會自動啟動運算資源並根據流量進行縮減和擴展,讓您無需選擇執行個體類型、執行佈建容量或管理擴展。您可以選擇為無伺服器推論端點指定記憶體要求。您只需為執行推論程式碼的持續時間和處理的資料量付費,而無需為空閒期間付費。

問:為何應該使用 Amazon SageMaker Serverless Inference?

Amazon SageMaker Serverless Inference 無需預先佈建容量和管理擴展政策,從而簡化了開發人員體驗。SageMaker Serverless Inference 可以根據使用模式在幾秒鐘內立即從數十個推論擴展至數千個推論,使其成為具有間歇性或不可預測流量的 ML 應用程式的理想選擇。例如,薪資處理公司使用的 chatbot 服務在月末的查詢量增加,而在本月其餘時間,流量是間歇性的。在這種情況下為整個月佈建執行個體並不劃算,因為您最終要為空閒期間付費。SageMaker Serverless Inference 透過為您提供開箱即用的自動和快速水平擴展,而無需您預先預測流量或管理擴展政策,從而協助解決這些類型的使用案例。此外,您只需為執行推論程式碼的運算時間 (以毫秒計費) 和資料處理付費,使其成為具有間歇性流量的工作負載的具成本效益的選項。

問:什麼是 Amazon SageMaker Inference Recommender?

Amazon SageMaker Inference Recommender 是 Amazon SageMaker 的一項新功能,它透過跨 SageMaker ML 執行個體自動執行效能基準測試和調校模型效能來減少將 ML 模型投入生產所需的時間。您現在可以使用 SageMaker Inference Recommender 將您的模型部署至可提供最佳效能並最大限度減少成本的端點。您可以在幾分鐘內開始使用 SageMaker Inference Recommender,同時選取執行個體類型並在數小時內取得最佳端點組態的建議,從而消除數週的手動測試和調校時間。使用 SageMaker Inference Recommender,您只需為負載測試期間使用的 SageMaker ML 執行個體付費,無需額外費用。

問:為什麼應該使用 SageMaker Inference Recommender?

如果需要正確端點組態的建議來提高效能並降低成本,您應該使用 SageMaker Inference Recommender。以前,想要部署模型的資料科學家必須執行手動基準測試來選取正確的端點組態。他們必須先根據模型的資源要求和範例酬載,從 70 多種可用執行個體類型中選取正確的 ML 執行個體類型,然後最佳化模型以適應不同的硬體。接著,他們必須進行廣泛的負載測試,以驗證是否滿足延遲和輸送量要求且成本很低。SageMaker Inference Recommender 消除了這種複雜性,讓您可以輕鬆地:1) 透過執行個體建議在幾分鐘內開始使用;2) 跨執行個體類型進行負載測試,以在數小時內取得有關您的端點組態的建議;3) 自動調校容器和模型伺服器參數,並為指定的執行個體類型執行模型最佳化。

問:SageMaker Inference Recommender 如何與其他 AWS 服務搭配使用?

資料科學家可以從 SageMaker Studio、適用於 Python (Boto3) 的 AWS SDK 或 AWS CLI 存取 SageMaker Inference Recommender。他們可以在 SageMaker 模型登錄檔中的 SageMaker Studio 內取得已註冊模型版本的部署建議。資料科學家可以透過 SageMaker Studio、AWS SDK 或 AWS CLI 搜尋和篩選建議。

問:SageMaker Inference Recommender 是否可以支援多模型端點或多容器端點?

否,我們目前僅支援每個端點一個模型。

問:SageMaker Inference Recommender 支援哪種類型的端點?

目前我們僅支援即時端點。

問:我是否可以在一個區域使用 SageMaker Inference Recommender,而在不同區域進行基準測試?

在發佈時,我們將支援 SageMaker 支援的所有區域 (AWS 中國區域除外)。

問:SageMaker Inference Recommender 是否支援 Amazon EC2 Inf1 執行個體?

是,我們支援所有類型的容器。Amazon EC2 Inf1 基於 AWS Inferentia 晶片,需要使用 Neuron 編譯器或 SageMaker Neo 編譯的模型成品。一旦您擁有 Inferentia 目標的編譯模型和關聯的容器映像 URI,就可以使用 SageMaker Inference Recommender 對不同的 Inferentia 執行個體類型進行基準測試。


問:什麼是 Amazon SageMaker Model Monitor?

Amazon SageMaker Model Monitor 可讓開發人員偵測並補救概念偏離。SageMaker Model Monitor 可自動偵測部署模型中的概念偏離,並提供詳細的提醒,以協助確定問題的來源。在 SageMaker 中訓練的所有模型都會自動發出關鍵指標,可在 SageMaker Studio 中收集和檢視這些指標。您可以從 SageMaker Studio 內部設定要收集的資料、檢視資料的方式,以及接收提醒的時間。

問:我是否能存取執行 Amazon SageMaker 所在的基礎設施?

不行。Amazon SageMaker 會代您操作該運算基礎設施,允許其執行運作狀態檢查、套用安全性修補程式和執行其他例行維護。您還可以在自己的託管環境中,部署那些利用自訂推論程式碼訓練而成的模型成品。

問:如何在生產環境中擴展 Amazon SageMaker 模型的規模和效能?

Amazon SageMaker 託管功能會利用 Application Auto Scaling 自動為您的應用程式擴展所需的效能。另外,您可以修改端點組態,然後就可以手動變更執行個體數量和類型,不用暫停服務。

問:我如何監控 Amazon SageMaker 的生產環境?

Amazon SageMaker 會將效能指標發送到 Amazon CloudWatch 指標,以便您可以追蹤指標,設定警示並自動對生產流量中的更改作出反應。另外,Amazon SageMaker 會將日誌寫入 Amazon CloudWatch Logs,以便您監控生產環境並排除異常狀況。

問:Amazon SageMaker 可以託管哪種模型?

Amazon SageMaker 可以託管任何符合 Docker 推論影像記載規格的模型。這包括從 Amazon SageMaker 模型成品和推論程式碼建立的模型。

問:Amazon SageMaker 支援的並行即時 API 請求數量是多少?

Amazon SageMaker 旨在擴展到每秒大量的交易。確切的數字會因部署的模型以及模型部署所在的執行個體數量和類型而異。

問:什麼是批次轉換?

批次轉換可讓您針對大型或小型批次資料進行預測。無須將資料集分解為多個區塊或管理即時端點。使用簡易的 API 時,您可以請求針對大量資料記錄進行預測,並快速、輕鬆地轉換資料。

問:什麼是 Amazon SageMaker Edge Manager?

Amazon SageMaker Edge Manager 是 Amazon SageMaker 中的功能,可讓您更輕鬆地最佳化、保護、監控和維護各種邊緣裝置 (如智慧相機、機器人、個人電腦和行動裝置) 上的 ML 模型。SageMaker Edge Manager 可協助 ML 開發人員在各種邊緣裝置上大規模地操作 ML 模型。

問:如何開始使用 SageMaker Edge Manager?

若要開始使用 SageMaker Edge Manager,您需要在雲端中編譯和封裝已訓練 ML 模型,注册裝置,並使用 SageMaker Edge Manager 軟體開發套件準備裝置。為準備模型進行部署,SageMaker Edge Manager 會使用 SageMaker Neo 根據您的目標邊緣硬體編譯模型。編譯模型後,SageMaker Edge Manager 將使用 AWS 產生的金鑰對模型進行簽章,然後將模型與執行時間和所需的憑證封裝在一起,以便為部署做好準備。在裝置端,向 SageMaker Edge Manager 註冊您的裝置,下載 SageMaker Edge Manager 軟體開發套件,然後按照指示在裝置上安裝 SageMaker Edge Manager 代理。教學筆記本提供逐步範例,說明如何準備模型並使用 SageMaker Edge Manager 連接邊緣裝置上的模型。

問:SageMaker Edge Manager 支援哪些裝置?

Amazon SageMaker Edge Manager 支援在 Linux 和 Windows 作業系統中的通用 CPU (ARM,x86) 和 GPU (ARM,Nvidia) 型裝置。在一段時間內,SageMaker Edge Manager 將擴展以支援更多嵌入式處理器和行動平台,它們也受 SageMaker Neo 支援。

問:我是否需要使用 Amazon SageMaker 來訓練我的模型以便使用 Amazon SageMaker Edge Manager?

否,您不需要。您可以在其他地方訓練您的模型,或使用來自開源或您的模型廠商的預先訓練的模型。

問:我是否需要使用 Amazon SageMaker Neo 來編譯我的模型以便使用 Amazon SageMaker Edge Manager?

是,您需要。Amazon SageMaker Neo 將模型轉換並編譯為可執行檔,然後封裝並部署至邊緣裝置上。在部署模型套件後,Amazon SageMaker Edge Manager 代理將解壓縮模型套件並在裝置上執行模型。

問:如何將模型部署至邊緣裝置?

Amazon SageMaker Edge Manager 將模型套件存放在指定的 Simple Storage Service (Amazon S3) 儲存貯體中。您可以使用 AWS IoT Greengrass 提供的無線 (OTA) 部署功能,或您選擇的任何其他部署機制來將模型套件從 S3 儲存貯體部署至裝置。

問:Amazon SageMaker Edge Manager SDK 與 SageMaker Neo 執行時間 (dlr) 有何不同?

Neo dlr 是開放原始碼執行時間,僅執行 Amazon SageMaker Neo 服務編譯的模型。相較於開放原始碼 dlr,SageMaker Edge Manager 軟體開發套件包含企業級裝置代理,具有額外的安全、模型管理和模型服務功能。SageMaker Edge Manager 軟體開發套件適用於大規模生產部署。

問:Amazon SageMaker Edge Manager 與 AWS IoT Greengrass 有何關係?

Amazon SageMaker Edge Manager 和 AWS IoT Greengrass 可以在您的 IoT 解決方案中協同工作。在將您的機器學習 (ML) 模型與 SageMaker Edge Manager 一起封裝後,您可以使用 AWS IoT Greengrass 的 OTA 更新功能將模型套件部署到您的裝置上。AWS IoT Greengrass 可讓您遠端監控您的 IoT 裝置,而 SageMaker Edge Manager 可協助您監控和維護裝置上的機器學習 (ML) 模型。

問:Amazon SageMaker Edge Manager 與 AWS Panorama 有何關係? 我應在何時使用 Amazon SageMaker Edge Manager 和 AWS Panorama?

AWS 提供在邊緣裝置上執行模型的最大廣度和最大深度功能。我們提供的服務支援各種使用案例,包括電腦視覺、語音辨識和預測性維護。

對於希望在邊緣裝置 (如相機和應用裝置) 上執行電腦視覺的公司,您可以使用 AWS Panorama。Panorama 可隨時為邊緣裝置部署電腦視覺應用程式。登入雲端主控台,指定要在 Simple Storage Service (Amazon S3) 或 SageMaker 中使用的模型,然後將業務邏輯作為 Python 指令碼編寫,即可輕鬆開始使用 AWS Panorama。AWS Panorama 會為目標裝置編譯模型並建立應用程式套件,因此只需按幾下即可將其部署至您的裝置。此外,想要建置自己的自訂應用程式的獨立軟體開發廠商可以使用 AWS Panorama 軟體開發套件,並且裝置製造商可以使用裝置軟體開發套件認證其裝置以使用 AWS Panorama。

想要建置自己的模型並對模型功能進行更精細控制的客戶,可以使用 Amazon SageMaker Edge Manager。SageMaker Edge Manager 是一項受管服務,用於跨各種邊緣裝置 (如智慧相機、智慧喇叭和機器人) 準備、執行、監控和更新 ML 模型,以用於任何使用案例,如自然語言處理、詐騙偵測和預測性維護。SageMaker Edge Manager 適用於希望控制其模型 (包括設計不同的模型功能並監控模型漂移) 的 ML 邊緣開發人員。任何 ML Edge 開發人員都可以透過 SageMaker 主控台和 SageMaker API 使用 SageMaker Edge Manager。SageMaker Edge Manager 提供 SageMaker 的功能,可將雲端中的模型建置、訓練和部署至邊緣裝置。

問:哪些 AWS 區域可以使用 Amazon SageMaker Edge Manager?

以下 6 個 AWS 區域可使用 Amazon SageMaker Edge Manager:美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、歐洲 (法蘭克福) 和亞太區域 (東京)。如需詳細資訊,請參閱 AWS 區域表

問:什麼是 Amazon SageMaker Neo?

Amazon SageMaker Neo 能讓 ML 模型訓練一次,並在雲端和邊緣隨處執行。SageMaker Neo 會自動將使用常見深度學習架構建置、可用來在多個硬體平台上部署的模型最佳化。最佳化模型的執行速度最多可提高 25 倍,且耗用的資源少於一般 ML 模型的十分之一。

問:如何開始使用 Amazon SageMaker Neo?

若要開始使用 Amazon SageMaker Neo,請登入 Amazon SageMaker 主控台,選擇訓練模型,遵循範例來編譯模型,並將產生的模型部署到您的目標硬體平台。

問:Amazon SageMaker Neo 有哪些主要元件?

Amazon SageMaker Neo 包含兩個主要元件 – 編譯器和執行時間。首先,Neo 編譯器可讀取不同架構匯出的模型。然後將架構特定的函數和操作轉換為跨架構的中繼表示法。下一步是執行一序列的最佳化。然後編譯器會為最佳化操作產生二進位程式碼,並將它們寫入共用的物件程式庫。編譯器也會將模型定義和參數儲存至不同的檔案。在執行期間,Neo 執行時間會載入編譯器產生的成品 – 模型定義、參數和共用的物件程式庫,以便執行模型。

問:我是否需要使用 Amazon SageMaker 來訓練我的模型以便使用 Amazon SageMaker Neo 來轉換模型?

不需要。您可以在任何位置訓練模型,並使用 Neo 來將它們針對 Amazon SageMaker ML 執行個體或 AWS IoT Greengrass 支援的裝置進行最佳化。

問:Amazon SageMaker Neo 支援哪些模型?

Amazon SageMaker Neo 目前支援為電腦視覺應用程式提供動力的最常見度學習模型,以及 Amazon SageMaker 中現今所使用的最受歡迎決策樹模型。Neo 會將在 MXNet 和 TensorFlow 中訓練的 AlexNet、ResNet、VGG、Inception、MobileNet、SqueezeNet 和 DenseNet 模型,以及在 XGBoost 中訓練的分類和隨機分割森林模型的效能最佳化。

問:Amazon SageMaker Neo 支援哪些硬體平台?

您可以在 Amazon SageMaker Neo 文件中找到受支援的雲端執行個體邊緣裝置和架構版本的清單。

問:哪些 AWS 區域可以使用 Amazon SageMaker Neo?

若要查看支援區域的清單,請參閱 AWS 區域表

Amazon SageMaker Savings Plans

問:什麼是 Amazon SageMaker Savings Plans?

Amazon SageMaker Savings Plans 提供適用於 Amazon SageMaker 的靈活的用量定價模式,可換取在 1 年或 3 年期的用量承諾 (以 USD/小時計費)。Amazon SageMaker Savings Plans 提供最大靈活性,並協助您降低高達 64% 的成本。這些計劃會自動套用至符合資格的 SageMaker ML 執行個體用量,包括 SageMaker Studio Notebook、SageMaker On-Demand Notebook、SageMaker Processing、SageMaker Data Wrangler、SageMaker Training、SageMaker Real-Time Inference,以及 SageMaker Batch Transform,而不論執行個體系列、大小或區域為何。例如,您可以隨時將用量從美國東部 (俄亥俄) 執行的 CPU 執行個體 ml.c5.xlarge 變更為美國西部 (奧勒岡) 執行的 ml.Inf1 執行個體,以推導工作負載,並自動繼續支付 Savings Plans 的價格。

問:為何應該使用 Amazon SageMaker Savings Plans?

如果您具有一致的 Amazon SageMaker 執行個體用量 (以 USD/小時計費),並使用多個 SageMaker 元件或期望您的技術組態 (如執行個體系列或區域) 隨時間的推移而變更,SageMaker Savings Plans 可讓您更輕鬆地最大程度實現節省,同時靈活地根據應用程式需求或新創新變更基礎技術組態。Savings Plans 費率會自動套用至所有符合資格的機器學習 (ML) 執行個體用量,而無需手動修改。

問:如何開始使用 Amazon SageMaker Savings Plans?

您可以從 AWS 管理主控台中的 AWS Cost Explorer 或使用 API/CLI 來開始使用 Savings Plans。透過使用 AWS Cost Explorer 中提供的建議,您可以輕鬆地選擇 Savings Plans,以實現最大節省。建議的小時承諾基於您的歷史隨需用量,以及您選擇的方案類型、期限和支付方式。註冊 Savings Plan 後,您的運算用量將自動以 Savings Plans 的折扣價收費,任何超出承諾的用量,則將以正常的隨需費率收費。

問:適用於 Amazon SageMaker 的 Savings Plans 與適用於 Amazon EC2 的 Compute Savings Plans 有何不同?

適用於 Amazon SageMaker 的 Savings Plans 與適用於 EC2 的 Savings Plans 的差異在於他們所包含的服務。SageMaker Savings Plans 僅適用於 SageMaker ML 執行個體用量。

問:Savings Plans 如何與 AWS Organizations/合併帳單搭配使用?

Savings Plans可以在 AWS Organization/合併帳單系列內的任何帳戶中購買。依預設,Savings Plans 中提供的益處適用於 AWS Organization/合併帳單系列的所有帳戶中的用量。然而,您也可以選擇將 Savings Plans 的益處僅限於購買項目的帳戶。

進一步了解 Amazon SageMaker 定價

瀏覽定價頁面
準備好開始使用了嗎?
註冊
還有其他問題嗎?
聯絡我們