Amazon SageMaker AI 常見問答集

Amazon SageMaker AI 是一項全受管服務，結合了一系列的工具，以實現高效能、低成本的機器學習 (ML)，適用於任何使用案例。透過 SageMaker AI，您可以使用筆記本、偵錯工具、分析工具、管線、MLOps 等工具，大規模建置、訓練和部署 ML 模型，全部都在一個整合式開發環境 (IDE) 中。SageMaker AI 透過簡化存取控制和 ML 專案的透明度來支援管控要求。此外，您還可以建置自己的基礎模型 (FM)，即在大量資料集上訓練的大型模型，並使用專用工具來微調、實驗、重新訓練和部署 FM。SageMaker AI 還可以存取數百種預先訓練的模型，包括公開可用的 FM，您只需幾個步驟即可部署這些模型。

如需支援 SageMaker AI 的區域清單，請瀏覽 AWS 區域服務頁面。另外，如需詳細資訊，請參閱 AWS 一般參考指南中的區域端點。

SageMaker AI 的設計可提供高可用性。沒有維護時段或計劃停機時間。SageMaker AI API 在 Amazon 經過驗證的高可用性資料中心執行，相關的服務堆疊複寫會在每個區域的三個設施中進行設定，在伺服器故障或可用區域中斷等狀況提供容錯能力。

SageMaker AI 會將程式碼存放至 ML 儲存磁碟區，由安全群組進行保護並可選擇在靜態時進行加密。

SageMaker AI 確保 ML 模型成品和其他系統成品在傳輸和靜止狀態下全部經過加密。對 SageMaker AI API 和主控台發出的請求，都是透過安全 (SSL) 連線進行。您將 AWS Identity and Access Management 角色交給 SageMaker AI，提供許可讓它代您存取訓練與部署時所需的資源。您可以將加密的 Amazon Simple Storage Service (Amazon S3) 儲存貯體用於模型成品和資料，還可以將 AWS Key Management Service (KMS) 金鑰交給 SageMaker AI 筆記本、訓練任務和端點，以加密連接的 ML 儲存磁碟區。SageMaker AI 還支援 Amazon Virtual Private Cloud (Amazon VPC) 和 AWS PrivateLink 支援。

SageMaker AI 不使用或共用客戶模型、訓練資料或演算法。我們深知客戶非常在乎隱私權與資料安全。這就是為什麼 AWS 透過簡化、強大的工具，允許您決定存放內容的位置、保護傳輸中和靜態內容的安全，以及管理使用者對 AWS 服務和資源的存取，讓您完全擁有及控制您的內容。我們也實作技術與實體控制措施，旨在防止未經授權的存取或揭露您的內容。身為客戶，您保有自己內容的擁有權，由您選取可處理、存放及託管內容的 AWS 服務。未經您的同意，我們不會出於任何目的存取您的內容。

您需支付用於託管筆記本、訓練模型、執行預測以及記錄輸出的 ML 運算、儲存和資料處理資源相關費用。使用 SageMaker AI，您可以選取用於託管筆記本、訓練和模型託管的執行個體數量和類型。您只需按實際用量付費；既沒有最低費用，也無需前期承諾。如需詳細資訊，請參閱 Amazon SageMaker AI 定價和 Amazon SageMaker 定價計算器。

您可以採用多種最佳實務來最佳化您的 SageMaker AI 資源使用情況。某些方法涉及組態最佳化；另一些方法涉及程式設計解決方案。可以在此部落格文章中找到有關此概念的完整指南，以及視覺化教學和程式碼範例。

SageMaker AI 提供一套完整的工作流程，不過可以在 SageMaker AI 中繼續使用現有工具。您可以根據業務需求，輕鬆將每個階段的結果傳輸至 SageMaker AI 或者從 SageMaker AI 傳輸至其他地方。

是。您可以在 SageMaker AI 筆記本執行個體中使用 R，其中包括預先安裝的 R 核心和 reticulate 程式庫。Reticulate 提供 Amazon SageMaker AI Python SDK 的 R 介面，有助於 ML 從業人員建置、訓練、調校及部署 R 模型。您現在可以在 Amazon SageMaker Studio 啟動 R 的整合式開發環境 (IDE) RStudio。 

Amazon SageMaker Studio 提供單一的 Web 視覺化介面，您可以在其中執行所有 ML 開發步驟。SageMaker Studio 讓您可以完全存取、控制和洞察在準備資料以及建立、訓練和部署模型時需要執行的每個步驟。您可以快速上傳資料，建立新的筆記本，訓練和調校模型，在步驟之間來回移動以調整實驗，比較結果，以及將模型部署至一處，從而讓您的工作更有效率。在統一的 SageMaker Studio 視覺化介面中可以執行所有 ML 開發活動，包括筆記本、實驗管理、自動建立模型、偵錯和分析，以及模型漂移偵測。 

使用 SageMaker Studio 無需額外付費。您只需支付在 SageMaker Studio 內使用的服務的基礎運算和儲存費用。

您可以在 Amazon SageMaker 開發人員指南中找到支援 SageMaker Studio 的區域。

Amazon SageMaker Clarify 透過偵測整個 ML 工作流程中的統計偏差來協助提高模型透明度。SageMaker Clarify 可檢查資料準備期間、訓練後和持續時間內的不平衡，還包括有助於說明 ML 模型及其預測的工具。您可以透過可解釋性報告共用調查結果。

RStudio on SageMaker AI 是雲端中首個全受管 RStudio Workbench。您可以快速啟動熟悉的 RStudio 整合式開發環境 (IDE)，並在不中斷工作的情況下，來回呼叫底層運算資源，從而更輕鬆地在 R 中大規模建置 ML 和分析解決方案。您可以在 RStudio IDE 和 SageMaker Studio 筆記本之間無縫切換，以進行 R 和 Python 開發。 您的所有工作，包括程式碼、資料集、儲存庫和其他成品，都會在兩個環境之間自動同步，以減少相關內容切換並提升工作效率。

SageMaker Clarify 與 SageMaker Experiments 整合來提供特徵重要性圖表，詳細說明模型訓練之後每個輸入對模型整體決策程序的重要性。這些詳細資訊可協助判斷特定模型輸入對整體模型行為的影響是否比預期更大。SageMaker Clarify 還透過 API 對單個預測進行解釋。 

SageMaker AI (前身為 SageMaker) 是一項全受管服務，結合了一系列的工具，以實現高效能、低成本的 ML，適用於任何使用案例。藉助 SageMaker AI，您可以大規模地建置、訓練和部署 ML 模型。下一代 SageMaker 是用於資料、分析和 AI 的統一平台。下一代 SageMaker 結合廣泛採用的 AWS 機器學習 (ML) 和分析功能，提供分析和 AI 的整合式體驗，並統一存取您的所有資料。

下一代 SageMaker 包含下列功能：

• SageMaker Unified Studio：使用單一環境中用於分析和 AI 的所有資料和工具
  進行建置。
• SageMaker Lakehouse：使用 SageMaker Lakehouse 統一跨 Amazon S3 資料湖、
  Amazon Redshift 資料倉儲、第三方和聯合資料來源的資料。
• SageMaker 資料與 AI 管理：使用在 Amazon DataZone 基礎上建置的 SageMaker Catalog
  來安全地探索、管理和協作資料與 AI。
• 模型開發：藉助 SageMaker AI (前身為 SageMaker)，使用全受管基礎設施、工具和
  工作流程來建置、訓練和部署 ML 與基礎模型 (FM)。
• 生成式 AI 應用程式開發：使用 Amazon Bedrock 建置並擴展生成式 AI
  應用程式。
• SQL 分析：藉助最具價格效能的 SQL 引擎 Amazon Redshift 取得洞察。
• 資料處理：利用 Athena、Amazon EMR 和 AWS Glue 上的開放原始碼架構
  來分析、準備及整合資料以進行分析和 AI 實作。

支援的功能包括：使用 JupyterLab 筆記本進行建置；使用 JumpStart、Amazon Q Developer、訓練任務、HyperPod 進行訓練和微調；使用推論端點進行部署；使用 MLFlow、Pipelines、模型註冊庫實現可擴充 MLOps；使用模型儀表板進行管理；與合作夥伴 AI 應用程式和 Snowflake 的第三方整合。

SageMaker 提供統一的資料和 AI 體驗，可尋找、存取您的資料並採取相應動作，從而加速分析和 AI 計畫。SageMaker AI 將繼續受到支援，因此，您無需執行任何動作來確保現有工作流程繼續運作。例如，您可繼續如常使用現有的 Amazon SageMaker HyperPod 叢集。如果您想要在全新的 SageMaker Unified Studio 中使用，請設定與此叢集的連線。您現有的所有 HyperPod 組態會自動移轉至 SageMaker 中的專案，且效能與成本效益將會相同。但是，SageMaker Unified Studio 體驗可以透過將所有工具整合至一處來提高生產力。

我們很高興宣佈推出 Unified Studio，該服務可讓您更快地協作和建置：從單一資料與 AI 開發環境。在 SageMaker Unified Studio 中，您可以使用熟悉的 AWS 工具來探索您的資料，並將其用於模型開發、生成式 AI、資料處理和 SQL 分析。我們在您旅程的每一步都會為您提供支援。如果您有任何疑問，請隨時與您的客戶團隊聯絡。

對於需要可靠且精簡的 ML 開發體驗的客戶來說，SageMaker Studio 仍是一個絕佳選擇。對於希望獲得整合式分析和 AI 體驗並能統一存取所有資料的組織而言，應考慮使用 SageMaker Unified Studio。利用 SageMaker Unified Studio，您即可取得熟悉的 AWS 工具，以在單一受管理的環境中實現完整的開發工作流程，包括模型與生成式 AI 應用程式開發、資料處理和 SQL 分析。

是，全新的 SageMaker Unified Studio 提供 HyperPod、JumpStart、MLFlow、JupyterLab 和 Pipelines。

旅程 1.選取、自訂和部署基礎模型 (FM)：

• 瀏覽並選取資料集
• 選取 FM
• 評估模型 (自動和人工)
• 自訂、微調：最佳化 FM 價格、效能和品質
• 最佳化和部署以進行推論
• 藉助 FMOps 和模型監控實現自動化

旅程 2.大規模建置、訓練和部署 ML 模型：

• 加速和擴展 ML 的資料準備
• 建置 ML 模型
• 訓練和調校 ML 模型
• 在生產中部署
• 管理和監控
• 自動化 ML 生命週期
  

旅程 3.選取模型、建置並部署生成式 AI 應用程式：

• 選取模型並進行微調
• 將模型匯入 Amazon Bedrock
• 建置並部署與您的端點整合的生成式 AI 應用程式

旅程 4.選取模型並部署至端點，然後將端點連線至生成式 AI 應用程式：

• 選取模型
• 將模型部署至 SageMaker AI 端點
• 將端點連線至您的生成式 AI 應用程式
  

使用 SageMaker 時，您將按照可透過 SageMaker 存取的各種 AWS 服務的定價模式付費。使用 SageMaker Unified Studio 無需單獨付費，這是在 SageMaker 內提供整合體驗的資料與 AI 開發環境。如需詳細資訊，請造訪 SageMaker 定價。

SageMaker AI 在整個 ML 生命週期中提供專門打造的 ML 管控工具。透過 Amazon SageMaker 角色管理器，管理員可在幾分鐘之內定義最小許可。Amazon SageMaker 模型卡讓您可以更輕鬆地擷取、抓取和共用從概念到部署的基本模型資訊，Amazon SageMaker 模型儀表板則可讓您了解生產模型的行為，在一處即可完成一切操作。如需詳細資訊，請參閱使用 Amazon AI SageMaker 進行 ML 管控。

您可以使用 SageMaker 角色管理器，在幾分鐘內定義最小許可。它透過預先建置的 IAM 政策目錄，為 ML 活動和角色提供一組基準許可。您可以保留基準許可，或根據您的特定需求進一步自定許可。透過一些自助提示，您可以快速輸入常見的治理建構模組，例如網路存取邊界和加密金鑰。SageMaker Role Manager 接著會自動產生 IAM 政策。您可以透過 AWS IAM 主控台發現產生的角色與關聯的政策。若要進一步針對您的使用案例定製許可，請將您的受管 IAM 政策連接到使用 SageMaker Role Manager 建立的 IAM 角色。您也可以新增標籤，以協助識別角色和組織各項 AWS 服務。

SageMaker 模型卡針對模型資訊建立單一真實來源，藉此協助您在整個 ML 生命週期集中和標準化模型文件。SageMaker 模型卡會自動填入訓練詳細資訊，以加速文件程序。您還可以新增詳細資訊，例如模型的用途和效能目標。您可以將模型評估結果附加至模型卡，並提供視覺化效果以獲得對模型效能的關鍵洞察。SageMaker 模型卡可匯出為 PDF 格式，輕鬆地與他人共用。

SageMaker 模型儀表板為您提供部署模型和端點的全面概觀，讓您透過一個窗格，即可追蹤資源和模型行為違規情況。透過與 SageMaker Model Monitor 和 SageMaker Clarify 整合，您還可從四個維度監控模型行為，包括資料和模型品質，以及偏差和特徵歸因漂移。SageMaker 模型儀表板還提供一種整合體驗，可針對缺失和非作用中模型監控任務，以及模型品質、資料品質、偏差漂移和特徵歸因漂移的模型行為偏差，來設定和接收提醒。您可以進一步檢查各個模型，並分析隨著時間影響模型效能的因素。接著您就能聯絡 ML 從業人員以採取修正措施。

SageMaker JumpStart 可協助您快速、輕鬆地入門 ML。SageMaker JumpStart 為最常見的使用案例提供了一組解決方案，只需幾個步驟即可輕鬆部署。這些解決方案是完全可自訂的，並展示了 AWS CloudFormation 範本和參考架構的使用，以便您可以加快 ML 之旅。SageMaker JumpStart 還提供了基礎模型且支援單一步驟部署和微調 150 多種熱門開放原始碼模型，如轉換器、物件偵測和映像分類模型。 

SageMaker JumpStart 提供專有和公有模型。如需可用基礎模型的清單，請參閱開始使用 Amazon SageMaker JumpStart。

您可以透過 SageMaker Studio、SageMaker SDK 和 AWS 管理主控台存取基礎模型。若要開始使用專有基礎模型，您必須接受 AWS Marketplace 中的銷售條款。

否。您的推論和訓練資料不會遭到使用或與他人共用，藉此更新或訓練 SageMaker JumpStart 呈現給客戶的基本模型。

否。專有模型不允許客戶檢視模型權重和指令碼。

在提供 SageMaker Studio 的所有區域中都可以探索模型，但部署模型的能力會因所需執行個體類型的模型和執行個體可用性而有所不同。您可以從 AWS Marketplace 中的模型詳細資訊頁面參閱 AWS 區域可用性和所需執行個體。

對於專有模型，您需要支付模型供應商決定的軟體定價，並根據使用的執行個體支付 SageMaker AI 基礎設施費用。對於公開可用的模型，您需要根據使用的執行個體支付 SageMaker AI 基礎設施費用。如需詳細資訊，請參閱 Amazon SageMaker AI 定價和 AWS Marketplace。

安全性是 AWS 的最高優先事項，而 SageMaker JumpStart 的設計就是要確保安全。這就是為什麼 SageMaker AI 透過簡化、強大的工具，可協助您決定存放內容的位置、保護傳輸中和靜態內容的安全，以及管理使用者對 AWS 服務和資源的存取，讓您完全擁有及控制您的內容。

1. 我們不會與 AWS Marketplace 中的模型賣方共用客戶訓練和推論資訊。同樣地，賣方的模型成品 (例如，模型權重) 也不會與買方分享。
2. SageMaker JumpStart 不會使用客戶模型、訓練資料或演算法來改善其服務，也不會與第三方分享客戶訓練和推論資料。
3. 在 SageMaker JumpStart 中，ML 模型成品會在傳輸和靜態中加密。
4. 在 AWS 共同責任模式下，AWS 會負責保護執行所有 AWS 服務的全球基礎設施。您有責任維護在此基礎設施上託管之內容的控制權。

使用者可以使用 AWS Marketplace 或 SageMaker JumpStart 中的模型，對模型輸出品質承擔責任，並確認個別模型描述中所述的功能和限制。

SageMaker JumpStart 包括來自 PyTorch Hub 和 TensorFlow Hub 的 150 多個預先訓練的公用模型。對於映像分類和物件偵測等視覺任務，您可以使用 RESNET、MobileNet 和 Single-Shot Detector (SSD) 等模型。對於句子分類、文字分類和問題回答等文字任務，您可以使用 BERT、RoBERTa 和 DistilBERT 等模型。

藉助 SageMaker JumpStart，資料科學家和 ML 開發人員可在其組織內輕鬆共用 ML 成品，包括筆記本和模型。管理員可設定一個可供定義的一組使用者存取的儲存庫。所有具有存取儲存庫許可的使用者都可瀏覽、搜尋和使用模型和筆記本，以及 SageMaker JumpStart 中的公開內容。使用者可選取成品，在 SageMaker JumpStart 中訓練模型、部署端點和執行筆記本。

藉助 SageMaker JumpStart，您可以在建置 ML 應用程式時加速上市。只需幾個步驟，組織內一個團隊建置的模型和筆記本即可輕鬆地與組織內的其他團隊共享。內部知識共用和資產重複使用可顯著提高組織的生產效率。

是。管理員可以控制多個 AWS 帳戶和使用者主體能使用哪些 Amazon SageMaker JumpStart 模型。若要進一步了解，請參閱文件。

推論最佳化工具組可讓您輕鬆實作最新的推論最佳化技術，以在 Amazon SageMaker AI 上實現最先進的 (SOTA) 成本效能，同時節省開發人員數月的時間。您可以從 SageMaker AI 提供的熱門最佳化技術選單中進行選擇，並提前執行最佳化任務，針對效能和準確度量度測量結果進行比較，然後將最佳化模型部署到 SageMaker AI 端點以進行推論。該工具組處理模型最佳化的所有方面，因此您可以更專注於業務目標。

推論最佳化工具組可協助您改善生成式 AI 應用程式的成本效能和上市時間。全受管的模型最佳化工具組提供易於使用的工具，讓您可以使用最新的最佳化技術。隨著時間推移，工具組不斷適應最先進的創新、新硬體和託管功能，因此可以隨著時間輕鬆升級到最佳可用的解決方案。

推論最佳化工具組支援最佳化技術，例如推測解碼、量化和編譯。您只需按幾下滑鼠即可選擇要新增至模型的最佳化功能，Amazon SageMaker AI 就會管理所有千篇一律的繁重工作，包括採購硬體、選取深度學習容器和對應的調校參數來執行最佳化任務，然後將最佳化的模型成品儲存在您提供的 S3 位置中。

對於推測解碼，您可以開始使用 SageMaker AI 提供的草稿模型，因此您不必從頭開始建置自己的草稿模型，並要求路由和系統層級最佳化。透過量化，您只需選擇要使用的精準類型，然後開始基準測量效能與準確度之間的權衡。Amazon SageMaker 將產生全面的評估報告，讓您輕鬆分析效能與準確度之間的權衡。透過編譯，針對最流行的模型及其組態，Amazon SageMaker AI 會在端點設定和擴展期間自動擷取已編譯的模型成品，從而無需提前執行編譯任務，從而節省硬體成本。

Amazon SageMaker AI 推論最佳化工具組有助於降低成本和時間來最佳化 GenAI 模型，讓您專注於業務目標。

SageMaker Canvas 是一項無程式碼服務，具有直覺化、點按式介面，可讓您透過資料建立高度準確的 ML 型預測。SageMaker Canvas 讓您能夠使用拖放式使用者介面存取和結合各種來源的資料，自動清除和準備資料，以最大限度地減少手動清理。SageMaker Canvas 運用各種最先進的 ML 演算法來尋找高度準確的預測模型，並提供直覺化介面來進行預測。您可以使用 SageMaker Canvas 在各種業務應用程式中進行更精確的預測，並透過共用模型、資料和報告輕鬆與企業中的資料科學家和分析師協作。若要進一步了解 SageMaker Canvas，請參閱 Amazon SageMaker Canvas 常見問答集。

SageMaker Autopilot 是業界第一個自動機器學習功能，可讓您完全控制和深入了解 ML 模型。SageMaker Autopilot 會自動檢查原始資料、套用功能處理器、選擇最佳演算法集、訓練和調整多個模型、追蹤其效能，然後根據效能對模型進行排名，所有動作都只需按幾下滑鼠即可完成。因此，通常只需訓練模型所花時間的一小部分，即可部署效能最佳的模型。您可以全面了解模型的建立方式，以及模型的內容，且 SageMaker Autopilot 與 SageMaker Studio 整合。您可以在 SageMaker Studio 中探索多達 50 種由 SageMaker Autopilot 產生的不同模型，進而輕鬆地為您的使用案例選擇最佳模型。沒有 ML 經驗的使用者可以使用 SageMaker Autopilot 輕鬆製作模型，經驗豐富的開發人員則可使用 SageMaker Autopilot 快速開發團隊可進一步迭代的基線模型。

使用 SageMaker Canvas，可以按使用量付費。SageMaker Canvas 可讓您以互動方式擷取、探索和準備來自多個來源的資料，使用您的資料訓練高度準確的 ML 模型，並產生預測。您的帳單取決於兩個部分：依據使用或登入 SageMaker Canvas 時數的工作階段費用，以及依據建置模型所用資料集大小的模型訓練費用。如需詳細資訊，請參閱 Amazon SageMaker Canvas 定價。

是。您可以隨時停止任務。停止 SageMaker Autopilot 任務後，所有進行中的試用都將停止，並且不會啟動新的試用。

Amazon SageMaker Pipelines 可協助您建立從資料準備至模型部署的全自動 ML 工作流程，這樣您就可以在生產中擴展至數千個 ML 模型。您可以使用 SageMaker Python SDK 建立管道，並從 SageMaker Studio 的視覺化介面檢視、執行和稽核這些管道。SageMaker Pipelines 負責管理步驟之間的資料，封裝程式碼配方，並協調其執行，將數月的編碼時間縮短到幾小時。每次工作流程執行時，都會保留處理的資料和採取的動作的完整記錄，以便資料科學家和 ML 開發人員可以快速偵錯問題。

SageMaker Pipeline 由「步驟」組成。您可以選擇任何原生支援的步驟類型來構建調用各種 SageMaker AI 特徵 (例如訓練、評估) 或其他 AWS 服務 (例如 EMR、Lambda) 的工作流程。您也可以使用「@step」Python 裝飾項目或將整個 Python 筆記本新增為 Pipeline 元件，將現有 ML Python 程式碼直接移轉至 SageMaker Pipeline。如需更多詳細資訊，請參閱「SageMaker Pipelines 開發人員指南」。

使用 SageMaker Pipelines 無須額外付費。您只需為 SageMaker Pipelines 內使用的基礎運算或任何單獨的 AWS 服務付費。

是。適用於 Kubeflow Pipeline 的 Amazon SageMaker AI 元件是開放原始碼外掛程式，可讓您使用 Kubeflow Pipelines 定義 ML 工作流程，以及透過 SageMaker AI 進行資料標記、訓練和推論步驟。Kubeflow Pipelines 是 Kubeflow 的附加元件，可用來建置和部署可攜式和可擴展的完整 ML 管道。不過，使用 Kubeflow Pipeline 時，ML 營運團隊需要管理含有 CPU 和 GPU 執行個體的 Kubernetes 叢集，並始終維持高使用率以降低營運成本。在資料科學團隊中最大限度地使用叢集是一項挑戰，並會增加 ML 營運團隊的額外營運開銷。作為 ML 最佳化 Kubernetes 叢集的替代方案，您可以透過適用於 Kubeflow Pipeline 的 SageMaker 元件，利用強大的 SageMaker 特徵，例如資料標記、全受管大規模超參數調校和分散式訓練任務、一鍵式安全和可擴展的模型部署，以及使用 Amazon Elastic Compute Cloud (Amazon EC2) Spot 執行個體進行經濟實惠的訓練，無需特別設定和管理 Kubernetes 叢集來執行 ML 任務。

使用適用於 Kubeflow Pipeline 的 SageMaker 元件無須額外付費。 

人工參與是在整個機器學習生命週期中利用人工輸入來提高模型的準確性和相關性的過程。可以透過人工執行多種任務，從資料產生和註釋，到模型審查和客製化。人工干預對於生成式 AI 應用程式尤其重要，此處的「人」通常是指內容的申請者和消費者。因此，必須人工訓練基礎模型 (FM) 如何準確、安全和相關地回應使用者的提示。您可以套用人工回饋來協助您完成多個任務。首先，透過監督式學習 (人工模擬模型應如何回應使用者提示的風格、長度和準確性)，以及使用人工回饋的強化學習 (人工對模型回應進行排名和分類)，為生成式 AI 應用程式建立高品質的標籤訓練資料集。其次，使用人工產生的資料，針對特定任務或使用您公司和領域的特定資料自訂 FM，並使模型輸出有用的內容。

人工參與功能在建立和改進由 FM 支援的生成式 AI 應用程式中發揮著重要作用。經過任務指南訓練的高技能勞動力可以在活動 (如產生示範資料以訓練 FM、糾正和改善樣本回應、根據公司和產業資料微調模型等) 中提供回饋、指導、輸入和評估，作為防止毒害和偏見等的保障措施。因此，人工參與功能可以提高模型準確度和效能。 

Amazon SageMaker Ground Truth 提供最全面的人工參與功能。您有兩種方法可以使用 Amazon SageMaker Ground Truth：自助服務產品和 AWS 受管產品。在自助服務產品中，您的資料註釋者、內容創作者和提示工程師 (內部、供應商管理或利用公眾人群) 可以使用我們的低程式碼使用者介面來加速人工參與工作，同時可以靈活地建立和管理自己的自訂工作流程。在 AWS 受管產品 (SageMaker Ground Truth Plus) 中，我們會為您處理繁重的工作，其中包括為您的使用案例選擇和管理合適的員工團隊。SageMaker Ground Truth Plus 可設計和自訂端對端工作流程 (包括詳細的員工訓練和品質保證步驟)，提供技術熟練且針對特定任務接受過訓練的 AWS 受管團隊，能滿足您對資料品質、安全性和合規的要求。 

SageMaker Data Wrangler 可減少為 ML 彙總和準備資料所需的時間。透過 SageMaker Studio 中的單一介面，只需幾個步驟，即可瀏覽和匯入來自 Amazon S3、Amazon Athena、Amazon Redshift、AWS Lake Formation、Amazon EMR、Snowflake 和 Databricks 的資料。您還可查詢並匯入傳輸自 50 多個資料來源並透過 Amazon AppFlow 在 AWS Glue Data Catalog 中註冊的資料。SageMaker Data Wrangler 會自動載入、彙總和顯示原始資料。將資料匯入 SageMaker Data Wrangler 後，即可看到自動產生的資料欄摘要和長條圖。然後，您可透過 SageMaker Data Wrangler 資料品質和洞察報告，更深入地了解您的資料並識別潛在錯誤，該報告提供匯總統計資料和資料品質警告。您還可直接從 SageMaker Data Wrangler 執行 Amazon SageMaker Clarify 支援的偏差分析，以偵測資料準備期間的潛在偏差。您可以在此使用 SageMaker Data Wrangler 預先建置的轉換，來準備您的資料。在準備資料後，您可以使用 Amazon SageMaker Pipelines 建置完全自動化的 ML 工作流程，或將資料匯入 Amazon SageMaker Feature Store。

您需為用於 SageMaker Data Wrangler 的所有 ML 運算、儲存和資料處理資源付費。您可以在此處檢閱 SageMaker Data Wrangler 定價的所有詳細資訊。做為 AWS 免費方案的一部分，您也可以免費開始使用 SageMaker Data Wrangler。

您可以直接從 SageMaker Data Wrangler UI 設定和啟動 SageMaker AI 處理任務，包括排程資料處理任務和參數化資料來源，輕鬆地大規模轉換新的資料批次。

準備好資料後，SageMaker Data Wrangler 會提供不同的選項，將您的 SageMaker Data Wrangler 流程推送到生產，並與 MLOps 和 CI/CD 功能無縫整合。您可以直接從 SageMaker Data Wrangler UI 設定和啟動 SageMaker AI 處理任務，包括排程資料處理任務和參數化資料來源，輕鬆地大規模轉換新的資料批次。或者，SageMaker Data Wrangler 與 SageMaker AI 處理和 SageMaker Spark 容器無縫整合，讓您可以輕鬆使用 SageMaker SDK 將 SageMaker Data Wrangler 整合至生產工作流程中。

SageMaker Feature Store 是全受管、專門打造的平台，用於存放、共用及管理機器學習 (ML) 模型特徵。您可以探索和共用特徵，以透過安全存取和控制在模型與團隊之間 (包括跨 AWS 帳戶) 輕鬆重複使用。SageMaker Feature Store 支援線上和離線特徵，以進行即時推論、批次推論和訓練。也能管理批次和串流特徵工程管道，以避免重複建立特徵並提高模型準確度。

做為 AWS 免費方案的一部分，您可以免費開始使用 SageMaker Feature Store。使用 SageMaker Feature Store，您需為寫入到特徵存放區以及從線上特徵存放區的讀取和儲存付費。如需定價詳情，請參閱 Amazon SageMaker 定價。

SageMaker AI 提供兩種資料標記產品，即 Amazon SageMaker Ground Truth Plus 和 Amazon SageMaker Ground Truth。這兩個選項都可讓您識別原始資料 (例如映像、文字檔案和影片)，並新增資訊類標籤來為您的 ML 模型建立高品質的訓練資料集。若要進一步了解，請參閱 Amazon SageMaker 資料標記。

您可以在 SageMaker AI 中使用全受管 Jupyter 筆記本進行完整的 ML 開發。利用雲端中多樣的運算最佳化與 GPU 加速執行個體選擇，彈性地擴展或縮減運算執行個體。

SageMaker Studio 筆記本是單一步驟 Jupyter 筆記本，能迅速啟動。基礎運算資源極具彈性，因此您可以輕鬆地調高或調低可用資源，而變更會在背景自動進行，不會中斷您的工作。SageMaker AI 還允許單一步驟共用筆記本。您可輕鬆地與他人共用筆記本，對方將獲得完全相同的筆記本，且儲存在同一位置。

使用 SageMaker Studio 筆記本時，您可以使用 IAM Identity Center 以公司憑證進行登入。在團隊內部和團隊之間共用筆記本很容易，因為共用時，會在與筆記本封裝的工作映像中自動追蹤執行筆記本所需的相依性。

SageMaker Studio IDE 中的筆記本具有一些重要特徵，使其與執行個體型筆記本有所區別。首先，您可以快速啟動筆記本，而無須手動佈建執行個體並等待其運作。為了閱讀和執行筆記本而啟動 UI 時，啟動時間比執行個體型筆記本快速。您還能隨時在 UI 內靈活地選擇大量的執行個體類型。您不需要移至 AWS 管理主控台，即可啟動新執行個體並移植筆記本。每位使用者都有與特定執行個體分開獨立的隔離主目錄。此目錄啟動時會自動掛載至所有筆記本伺服器和核心，因此在您切換執行個體以檢視和執行筆記本時，仍然能夠存取筆記本和其他檔案。SageMaker Studio 筆記本與 AWS IAM Identity Center (AWS SSO 的後繼者) 整合，能讓您更輕鬆使用組織憑證存取筆記本。筆記本還與 SageMaker AI 和其他 AWS 服務中專用的 ML 工具整合，可用於完整的 ML 開發，從使用 Amazon EMR 上的 Spark 準備 PB 級資料，到訓練和偵錯模型、部署和監控模型及管理管道。

ML 從業者可建立一個共用工作區，團隊成員可在其中一起閱讀和編輯 SageMaker Studio 筆記本。透過使用共享的步調，團隊成員可共同編輯同一個筆記本檔案，同時執行筆記本程式碼，並一起檢閱結果，以消除來回操作並簡化協作。在共享空間中，ML 團隊將擁有針對 BitBucket 和 AWS CodeCommit 等服務的內建支持，因此他們可以輕鬆管理筆記本的不同版本，並比較一段時間的變更。從筆記本中建立的任何資源，例如實驗和 ML 模型，都會自動儲存，並與建立資源的特定工作區關聯，因此團隊可以更輕鬆地保持條理，並加速 ML 模型開發。

使用 Studio IDE 中的 SageMaker AI 筆記本時，需要支付運算和儲存費用。請參閱「Amazon SageMaker AI 定價」，了解各種運算執行個體類型的費用。您的筆記本和相關成品 (如資料檔案和指令碼) 會存放在 Amazon Elastic File System (Amazon EFS)。請參閱「Amazon EFS 定價」以了解儲存費用。SageMaker Studio 筆記本是 AWS 免費方案的一部分，您可以開始免費使用。

否。您可以在相同的運算執行個體上建立和執行多個筆記本。您只需支付使用的運算費用，而非個別項目。如需詳細資訊，請參閱我們的計量指南。

除了筆記本，您還能在 SageMaker Studio 啟動和執行終端和互動 Shell，這些都可在相同的運算執行個體上完成。每個應用程式都在容器或映像內執行。SageMaker Studio 可針對資料科學和 ML，提供多種專用和預先設定的內建映像。

您可以透過 SageMaker Studio 視覺化介面和 AWS 管理主控台，監控和關閉 SageMaker Studio 筆記本使用的資源。 如需詳細資訊，請參閱文件。

否，建立或設定 SageMaker Studio 網域無需付費，包含新增、更新和刪除使用者設定檔。

作為管理員，您可以在 AWS 帳單主控台檢視包含 SageMaker Studio 在內的 SageMaker AI 分項費用。從 SageMaker AI 的 AWS 管理主控台，在上方選單中選擇服務、在搜尋方塊輸入「帳單」、從下拉式清單選取「帳單」，然後在左側面板選取「帳單」。在詳細資訊部分，可以選取 SageMaker 展開區域清單，然後逐一查看分項費用。

SageMaker Studio Lab 適用於需要免費筆記本開發環境且無需設定 ML 課程和實驗的學生、研究人員和資料科學家。SageMaker Studio Lab 非常適合不需要生產環境但仍希望使用 SageMaker AI 功能的子集來提高 ML 技能的使用者。SageMaker AI 工作階段會自動儲存，可協助使用者從每個使用者工作階段的中斷處繼續。

SageMaker Canvas 是一種視覺化、拖放式服務，可讓業務分析師建置 ML 模型並產生準確的預測，而無需編寫任何程式碼，也無需 ML 專業知識。SageMaker Canvas 可讓您更輕鬆存取和結合來自各種來源的資料，自動清理資料並套用各種資料調整，並建置 ML 模型以在單一步驟中產生準確的預測。您還可以輕鬆發佈結果、解釋和解讀模型，以及與組織內的其他人共用模型以進行檢閱。

SageMaker Canvas 能協助您無縫地探索您的帳戶有權存取的 AWS 資料來源，包括 Amazon S3 和 Amazon Redshift。您可以使用 SageMaker Canvas 視覺化、拖放式介面瀏覽和匯入資料。此外，您可以從本機磁碟拖放檔案，並使用預先建置的連接器從第三方來源 (如 Snowflake) 匯入資料。

連接來源、選取資料集並準備資料後，您可以選取要預測的目標資料欄以啟動模型建立任務。SageMaker Canvas 會自動識別問題類型，產生新的相關特徵，使用線性迴歸、邏輯迴歸、深度學習、時間序列預測和梯度提升等 ML 技術，測試一套全面的預測模型，並建置可根據您的資料集做出準確預測的模型。

建置模型所需的時間取決於資料集的大小。小型資料集可能需要不到 30 分鐘，大型資料集可能需要幾小時。隨著模型建立任務的進行，SageMaker Canvas 會提供詳細的視覺化更新，包括任務完成百分比和任務完成剩餘的時間。

我們建議您在以下情況下使用 Amazon Bedrock 進行模型微調：

• 您是生成式 AI 應用程式建構家，並且想要採用受管 API 驅動方法、減少超參數，以及抽象化與模型訓練相關聯的複雜性。
• 您需要盡可能降低基礎設施開銷，幾乎沒有或完全沒有任何現有 ML 基礎設施投資需要考量，並希望以無伺服器的方式快速部署。

我們建議您在以下情況下使用 Amazon SageMaker AI 進行模型微調：

• 您是資料科學家、ML 工程師或 AI 模型開發人員，並且想要獲得他們希望存取進階自訂技術，例如知識蒸餾、監督式微調或直接偏好最佳化，以實現完整權重和參數高效微調。SageMaker AI 還提供自訂訓練配方和模型架構的功能。
• 您已建立 ML 工作流程和基礎設施投資，旨在更好地控制基礎設施和成本。
• 您想要增加靈活性，以便自攜程式庫和框架，最佳化訓練工作流程，從而提高準確度和效能。

使用 Amazon SageMaker AI，您可以自訂專有和公用基礎模型。所有技能集的資料科學家和開發人員均可使用最佳化配方來快速自訂生成式 AI 模型。每個配方都已經過 AWS 測試，能夠省去在數週內持續測試不同模型組態的繁瑣工作，進而實現最先進的效能。您可以自訂熱門的公用模型系列，包括 Llama、Mixtral、Mistral 和 DeepSeek。此外，您還可以使用一套技術來自訂 Amazon Nova 基礎模型，這套技術包括監督式微調 (SFT)、知識蒸餾、直接偏好最佳化 (DPO)、近端策略最佳化和持續預先訓練，並支援 SFT、蒸餾和 DPO 的參數高效和全模型訓練選項。

是。SageMaker AI 可以自動在 AWS GPU 執行個體中分配深度學習模型和大型訓練集，而只需手動建置和最佳化這些分配策略所需的一小部分時間。SageMaker AI 套用的兩種分散式訓練技術是資料平行化和模型平行化。套用資料平行化，可透過在多個 GPU 執行個體之間平均分配資料來提高訓練速度，允許每個執行個體同時訓練。對於太大而無法存放在單一 GPU 上，且在分配到多個 GPU 之前需要將模型分割為更小部分的模型，模型平行化很有用。在 PyTorch 和 TensorFlow 訓練指令碼中只需幾行額外程式碼，SageMaker AI 將自動為您套用資料平行化或模型平行化，讓您更快地開發和部署模型。SageMaker AI 將使用圖形分割演算法判斷分割模型的最佳方法，以平衡每個 GPU 的運算，同時盡量減少 GPU 執行個體之間的通訊。SageMaker AI 還透過可充分利用 AWS 運算和網路的演算法最佳化您的分散式訓練任務，以實現近線性擴展效率，這樣可讓您比手動開放原始碼實作更快地完成訓練。

SageMaker Training Compiler 是一種深度學習 (DL) 編譯器，可透過圖形和核心層級最佳化將 DL 模型訓練速度提升高達 50%，從而更有效地使用 GPU。SageMaker Training Compiler 與 SageMaker 中的 TensorFlow 和 PyTorch 版本整合，因此您可以在這些熱門架構中以最少的程式碼變更加速訓練。

SageMaker Training Compiler 透過將 DL 模型從高階語言表示轉換為硬體最佳化指示來加速訓練任務，這些指示比使用原生架構的任務訓練速度更快。更具體地說，SageMaker Training Compiler 使用圖形層級最佳化 (運算子融合、記憶體規劃和代數簡化)、資料流程層級最佳化 (佈局轉換、共同子表達式消除) 和後端最佳化 (記憶體延遲隱藏、迴圈導向最佳化) 以產生最佳化的模型訓練任務，此任務可更有效地使用硬體資源，因此訓練速度更快。

受管 Spot 訓練與 SageMaker AI 搭配使用，可讓您使用 Amazon EC2 Spot 執行個體訓練 ML 模型，同時減少高達 90% 訓練模型的費用。

SageMaker Training Compiler 內建於 SageMaker Python SDK 和 SageMaker Hugging Face Deep Learning Containers。您無需變更工作流程即可獲得加速優勢。您可以使用任何 SageMaker 介面，以與之前相同的方式執行訓練任務：SageMaker 筆記本執行個體、SageMaker Studio、適用於 Python 的 AWS SDK (Boto3) 和 AWS Command Line Interface (AWS CLI)。您可以在建立架構估算器物件時，透過新增 TrainingCompilerConfig 類別作為參數來啟用 Amazon SageMaker Training Compiler。實際上，這意味著將幾行程式碼新增至單一 GPU 執行個體的現有訓練任務指令碼。文件中提供了最新的詳細文件、範例筆記本和範例。

SageMaker Training Compiler 是一項 SageMaker Training 特徵，專門為 SageMaker AI 客戶免費提供。隨著訓練時間的減少，客戶實際上可以使用 SageMaker Training Compiler 降低成本。

您可以在提交訓練任務時啟用受管 Spot 訓練選項，也可以指定要等待 Spot 容量的時間。然後，SageMaker AI 將使用 Amazon EC2 Spot 執行個體來執行任務並管理 Spot 容量。不管訓練任務是正在執行還是正在等待容量，您都可以完全看到訓練任務的狀態。

受管 Spot 訓練將 Amazon EC2 Spot 執行個體用於訓練，且在 AWS 需要容量時可以優先佔用這些執行個體。因此，在容量可用時，受管 Spot 訓練任務能以較小的增量執行。發生中斷時，不需要從頭重新啟動訓練任務，因為 SageMaker AI 可以使用最新模型檢查點恢復訓練任務。內建架構和內建電腦視覺演算法與 SageMaker AI 搭配使用可啟用定期檢查點，您還可以使用自訂模型啟用檢查點。

我們建議使用定期檢查點作為長期執行訓練任務的一般最佳實務。如果優先佔用容量，這可阻止受管 Spot 訓練任務重新啟動。啟用檢查點時，SageMaker AI 會從上一個檢查點恢復受管 Spot 訓練任務。

目前可用 SageMaker AI 的所有區域都支援受管 Spot 訓練。

使用 SageMaker AI 訓練模型時，資料集的大小沒有固定的限制。

SageMaker AI 包括線性迴歸、邏輯迴歸、K 均值叢集、主體元件分析、因式分解機器、神經主題建模、隱含狄利克雷分佈、梯度提升樹、sequence2sequence、時間序列預測、word2vec 和映像分類等內建演算法。SageMaker AI 還提供最佳化的 Apache MXNet、Tensorflow、Chainer、PyTorch、Gluon、Keras、Horovod、Scikit-learn 和 Deep Graph Library 容器。此外，如果 Docker 映像檔符合記載的規格，SageMaker AI 也可以支援透過它提供的自訂訓練演算法。

只要符合科學，您就可以在 SageMaker AI 的任何演算法上執行自動模型調校，包括內建 SageMaker AI 演算法、深度神經網路，或您以 Docker 映像檔格式帶入 SageMaker AI 的任意演算法。

目前不可以。在 SageMaker AI 內才能獲得最佳的模型調校效能和體驗。

目前，調校超參數演算法是貝氏最佳化的自訂實作。主要目標是在調校過程中，優化客戶指定的目標指標。具體來說，它會檢查已完成訓練任務的物件指標，然後利用知識來推論超參數組合，以應用在下一個訓練任務。

否。特定超參數對模型效能的影響程度取決於多個因素，很難肯定地說某個超參數比其他更為重要，所以需要調校。對於 SageMaker AI 中的內建演算法，我們會確定某個超參數是否可進行調校。

超參數調校任務所需的時間取決於多個因素，包括資料大小、基礎演算法，還有超參數的值。此外，客戶可以選擇同時訓練任務的數量和訓練任務的總數。所有這些選擇都會影響超參數調校任務持續的時間長度。

超參數調校任務本身不需任何費用。但需根據模型訓練定價，依照超參數調校任務啟動的訓練任務支付費用。

SageMaker Autopilot 讓典型的 ML 工作流程完全自動化，包括特徵預先處理、演算法選取和超參數調校，同時特別重視分類和迴歸使用案例。另一方面，自動模型調校旨在調整任何模型，無論它是以內建演算法、深度學習架構或者是自訂容器為基礎。為了獲得靈活性，您必須手動選擇特定演算法、要調校的超參數以及相應的搜尋範圍。

強化學習是一項 ML 技術，可讓代理程式使用來自其動作和體驗的意見反應嘗試錯誤，在互動式環境中學習。

是的，除了監督式學習和無監督學習模型外，您還可以在 SageMaker AI 中訓練強化學習模型。

雖然監督式和強化學習在輸入和輸出之間都使用映射，不同於監督式學習提供給代理程式的意見反應是用於執行任務的正確動作集，強化學習使用延遲的意見反應，當中的獎勵信號會經過最佳化以透過一序列的動作確保長期目標。

監督式學習技術的目標是要根據訓練資料中的模式來找到最好的答案，而無監督學習技術的目標是要找到資料點之間的相似性和差異性。相對來說，強化學習 (RL) 技術的目標是要學習如何達到想要的成果，甚至是在不清楚如何達成該成果時。因此，RL 更適合用來啟用代理程式可以進行自主性決策的智慧型應用程式，例如自駕車、HVAC、產業控制等等。

Amazon SageMaker RL 針對訓練 RL 模型支援許多不同的環境。您可以使用 AWS 服務 (例如 AWS RoboMaker)、使用 Open AI Gym 介面開發的開放原始碼環境或自訂環境，或是商業模擬環境 (例如 MATLAB 和 SimuLink)。

不需要，SageMaker RL 包含的 RL 工具組 (例如 Coach 和 Ray RLLib) 可提供 RL 代理程式演算法 (例如 DQN、PPO、A3C 等等) 的實作。

是，您可以在 Docker 容器中使用自己的 RL 程式庫和演算法實作，並且在 SageMaker RL 中執行。

是。您甚至可以選取異質性叢集，其中的訓練可以在單一 GPU 執行個體上執行，而模擬可以在多個 CPU 執行個體上執行。

SageMaker HyperPod 可觀測性讓客戶能夠加速上市時間，並降低生成式 AI 創新的成本。管理員可以使用此功能在幾分鐘內全面了解其叢集的效能、運作狀態和使用率，以最佳化加速運算資源的用量和組態。當資料科學家在 HyperPod 叢集上的生成式 AI 開發任務 (例如模型訓練、微調或推論) 遇到中斷時，他們就可以在幾分鐘內確定需要更新哪些組態或資源才能復原任務。因為解決任務中斷的時間縮短以及任務重試次數減少，組織能夠專注於加速生成式 AI 創新和上市時間，而不是花費數小時或數天的時間來收集和分析叢集遙測資料。

在您建置和訓練模型之後，SageMaker AI 提供了三個用於部署的選項，以便您可以開始進行預測。即時推論適用於具有毫秒級延遲要求、承載大小高達 6 MB、且處理時間最多 60 秒的工作負載。批次轉換非常適合對大批資料進行離線預測，這些資料可以提前使用。非同步推論專為沒有低於一秒延遲要求、承載大小高達 1 GB 且處理時間最多 15 分鐘的工作負載而設計。

您可以在未主動處理請求時將 SageMaker 非同步推論端點執行個體計數縮減規模至零，以節省成本。您需要定義依 "ApproximateBacklogPerInstance" 自訂指標擴展的擴展政策，並將 "MinCapacity" 值設定為零。如需逐步說明，請瀏覽開發人員指南的自動擴展非同步端點部分。 

SageMaker 無伺服器推論是一個專門打造的無伺服器模型服務選項，可以輕鬆部署和擴展 ML 模型。SageMaker 無伺服器推論端點會自動啟動運算資源並根據流量進行縮減和擴展，讓您無需選擇執行個體類型、執行佈建容量或管理擴展。您可以選擇為無伺服器推論端點指定記憶體要求。您只需為執行推論程式碼的持續時間和處理的資料量付費，而無需為閒置期間付費。

使用隨需無伺服器端點時，如果您的端點一段時間沒有接收流量，然後突然收到新的請求，則端點可能需要一些時間才能啟動運算資源來處理請求。這稱為冷啟動。如果您的並行請求超過目前的並行請求用量，也會發生冷啟動。冷啟動時間取決於模型大小、下載模型所需的時間以及容器的啟動時間。

若要減少延遲設定檔中的變動性，您可以選擇性地為無伺服器端點啟用佈建並行功能。使用佈建並行，您的無伺服器端點隨時準備就緒，並可立即為突增流量提供服務，而不需要任何冷啟動。

與隨需無伺服器推論一樣，啟用佈建並行時，您需要支付用於處理推論請求的運算容量 (以毫秒計費) 以及處理的資料量。您也可以依據設定的記憶體、佈建的持續時間和啟用的並行數量來支付佈建並行用量的費用。如需詳細資訊，請參閱 Amazon SageMaker AI 定價。

SageMaker AI 透過針對目前部署的模型測試其效能，幫助您執行影子測試以在生產發行前評估新的 ML 模型。SageMaker AI 以影子模式與目前的生產模型一起部署新模型，並將生產流量的使用者特定部分鏡像到新模型。它可選擇性記錄模型推論，以供離線比較。此外還提供一個即時儀表板，其中對生產模型和影子模型之間的關鍵效能指標進行比較，例如延遲和錯誤率，以協助您決定是否將新模型推送到生產中。

SageMaker AI 簡化了設定和監控影子變體的程序，因此您可以評估新 ML 模型在即時生產流量上的效能。SageMaker AI 讓您無需為影子測試編排基礎設施。它允許您控制測試參數，例如鏡像到影子變體的流量百分比和測試持續時間。因此，您可以從小處著手，在對模型效能有信心後，增加對新模型的推論請求。SageMaker AI 會建立一個即時儀表板，顯示關鍵指標之間的效能差異，因此您可以輕鬆比較模型效能，以評估新模型與生產模型的差異。

SageMaker Inference Recommender 可透過跨 SageMaker ML 執行個體自動執行效能基準測試和調校模型效能來減少將 ML 模型投入生產所需的時間。您現在可以使用 SageMaker Inference Recommender 將您的模型部署至可交付最佳效能並最大限度減少成本的端點。您可以在幾分鐘內開始使用 SageMaker Inference Recommender，同時選取執行個體類型並在數小時內取得最佳端點組態的建議，從而消除數週的手動測試和調校時間。使用 SageMaker Inference Recommender，您只需為負載測試期間使用的 SageMaker ML 執行個體付費，無需額外費用。

否，我們目前僅支援每個端點一個模型。

目前我們僅支援即時端點。

我們支援 Amazon SageMaker 支援的所有區域 (AWS 中國區域除外)。

是，我們支援所有類型的容器。Amazon EC2 Inf1 基於 AWS Inferentia 晶片，需要使用 Neuron 編譯器或 Amazon SageMaker Neo 編譯的模型成品。一旦您擁有 Inferentia 目標的編譯模型和關聯的容器映像 URI，就可以使用 SageMaker Inference Recommender 對不同的 Inferentia 執行個體類型進行基準測試。

SageMaker Model Monitor 可讓開發人員偵測並補救概念漂移。SageMaker Model Monitor 可自動偵測部署模型中的概念漂移，並提供詳細的提醒，以協助確定問題的來源。在 SageMaker AI 中訓練的所有模型都會自動發出關鍵指標，可在 SageMaker Studio 中收集和檢視這些指標。您可以從 SageMaker Studio 內部設定要收集的資料、檢視資料的方式，以及接收提醒的時間。

SageMaker AI 託管功能會利用 Application Auto Scaling 為您的應用程式自動擴展所需的效能。另外，您可以修改端點組態，然後就可以手動變更執行個體數量和類型，而不會產生停機時間。

SageMaker AI 會將效能指標發送到 Amazon CloudWatch 指標，以便您可以追蹤指標，設定警示並自動對生產流量中的變更做出反應。另外，SageMaker AI 會將日誌寫入 Amazon CloudWatch Logs，以便您監控生產環境並進行疑難排解。

SageMaker AI 的設計旨在擴展到大規模的每秒交易。確切的數字會因部署的模型以及模型部署所在的執行個體數量和類型而異。

做為一項全受管服務，Amazon SageMaker AI 負責設定和管理執行個體、軟體版本相容性和修補版本。它還會為您提供端點的內建指標和日誌，您可以用來監控和接收提醒。透過 SageMaker AI 工具和引導式工作流程，簡化了整個 ML 模型封裝和部署流程，讓您輕鬆最佳化端點以達成所需的效能並節省成本。您只需在 SageMaker Studio 中按幾下滑鼠，或使用新的 PySDK，即可輕鬆部署 ML 模型，包括基礎模型。

批次轉換可讓您針對大型或小型批次資料進行預測。無須將資料集分解為多個區塊或管理即時端點。使用簡易的 API 時，您可以請求針對大量資料記錄進行預測，並快速、輕鬆地轉換資料。

SageMaker AI 支援下列端點選項：單一模型端點 (在專用執行個體或無伺服器上託管之容器上的一個模型) 可實現低延遲和高輸送量。多模型端點：使用共用基礎設施託管多個模型，以實現成本效益並最大化使用率。您可以控制每個模型可以使用多少運算和記憶體，以確保每個模型都可以存取其有效執行所需的資源。序列推論管道 - 多個容器共用專用預留執行個體並依序執行。您可以使用推論管道來結合預先處理、預測和後續處理資料科學任務。

SageMaker Edge Manager 可讓您更輕鬆地最佳化、保護、監控和維護各種邊緣裝置機群 (如智慧相機、機器人、個人電腦和行動裝置) 上的 ML 模型。SageMaker Edge Manager 可協助 ML 開發人員在各種邊緣裝置上大規模地操作 ML 模型。

若要開始使用 SageMaker Edge Manager，您需要在雲端中編譯和封裝已訓練 ML 模型，註冊裝置，並使用 SageMaker Edge Manager 軟體開發套件準備裝置。為準備模型進行部署，SageMaker Edge Manager 會使用 SageMaker Neo 根據您的目標邊緣硬體編譯模型。編譯模型後，SageMaker Edge Manager 將使用 AWS 產生的金鑰對模型進行簽章，然後將模型與執行時間和所需的憑證封裝在一起，以便為部署做好準備。在裝置端，向 SageMaker Edge Manager 註冊您的裝置，下載 SageMaker Edge Manager 軟體開發套件，然後按照指示在裝置上安裝 SageMaker Edge Manager 代理。教學筆記本提供逐步範例，說明如何準備模型並使用 SageMaker Edge Manager 連接邊緣裝置上的模型。

SageMaker Edge Manager 支援具有 Linux 和 Windows 作業系統的通用 CPU (ARM、x86) 和 GPU (ARM、Nvidia) 型裝置。在一段時間內，SageMaker Edge Manager 將擴展以支援更多嵌入式處理器和行動平台，它們也受 SageMaker Neo 支援。

否，您不需要。您可以在其他地方訓練您的模型，或使用來自開放原始碼或您的模型供應商的預先訓練的模型。

是，您需要。SageMaker Neo 將模型轉換並編譯為可執行檔，然後封裝並部署至邊緣裝置上。在部署模型套件後，SageMaker Edge Manager 代理程式將解壓縮模型套件並在裝置上執行模型。

SageMaker Edge Manager 將模型套件存放在指定的 Amazon S3 儲存貯體中。您可以使用 AWS IoT Greengrass 提供的空中 (OTA) 部署功能，或您選擇的任何其他部署機制來將模型套件從 S3 儲存貯體部署至裝置。

Neo dlr 是開放原始碼執行時期，僅執行 SageMaker Neo 服務編譯的模型。相較於開放原始碼 dlr，SageMaker Edge Manager 軟體開發套件包含企業級裝置代理，具有額外的安全、模型管理和模型服務功能。SageMaker Edge Manager 軟體開發套件適用於大規模生產部署。

SageMaker Edge Manager 和 AWS IoT Greengrass 可以在您的 IoT 解決方案中協同工作。在將您的 ML 模型與 SageMaker Edge Manager 一起封裝後，您可以使用 AWS IoT Greengrass 的 OTA 更新功能將模型套件部署到您的裝置上。AWS IoT Greengrass 可讓您遠端監控您的 IoT 裝置，而 SageMaker Edge Manager 可協助您監控和維護裝置上的 ML 模型。

AWS 提供在邊緣裝置上執行模型的最大廣度和最大深度功能。我們提供的服務支援各種使用案例，包括電腦視覺、語音辨識和預測性維護。

對於希望在邊緣裝置 (如相機和設備) 上執行電腦視覺的公司，可以使用 AWS Panorama。AWS Panorama 可隨時為邊緣裝置部署電腦視覺應用程式。登入雲端主控台，指定要在 Amazon S3 或 SageMaker AI 中使用的模型，然後將業務邏輯作為 Python 指令碼編寫，即可輕鬆開始使用 AWS Panorama。AWS Panorama 會為目標裝置編譯模型並建立應用程式套件，因此只需按幾下即可將其部署至您的裝置。此外，想要建置自己的自訂應用程式的獨立軟體供應商可以使用 AWS Panorama 軟體開發套件，並且裝置製造商可以使用裝置軟體開發套件認證其裝置以使用 AWS Panorama。

想要建置自己的模型並對模型功能進行更精細控制的客戶，可以使用 SageMaker Edge Manager。SageMaker Edge Manager 是一項受管服務，用於跨各種邊緣裝置機群 (如智慧相機、智慧喇叭和機器人) 準備、執行、監控和更新 ML 模型，以用於任何使用案例，如自然語言處理、詐騙偵測和預測性維護。SageMaker Edge Manager 適用於希望控制其模型 (包括設計不同的模型特徵並監控模型漂移) 的 ML 邊緣開發人員。任何 ML Edge 開發人員都可以透過 SageMaker AI 主控台和 SageMaker AI API 使用 SageMaker Edge Manager。SageMaker Edge Manager 提供 SageMaker AI 的功能，可將雲端中的模型建置、訓練和部署至邊緣裝置。

以下六個區域可使用 SageMaker Edge Manager：美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、歐洲 (法蘭克福) 和亞太地區 (東京)。如需詳細資訊，請參閱 AWS 區域服務清單。

SageMaker Neo 能讓 ML 模型訓練一次，即可在雲端和邊緣隨處執行。SageMaker Neo 會自動將使用常見 DL 架構建置、可用來在多個硬體平台上部署的模型最佳化。最佳化模型的執行速度最多可提高 25 倍，且耗用的資源少於一般 ML 模型的十分之一。

若要開始使用 SageMaker Neo，請登入 SageMaker AI 主控台，選擇已訓練模型，遵循範例來編譯模型，並將產生的模型部署到您的目標硬體平台。

SageMaker Neo 包含兩個主要元件：編譯器和執行時期。首先，SageMaker Neo 編譯器可讀取不同架構匯出的模型。然後將架構特定的函數和操作轉換為跨架構的中繼表示法。下一步是執行一序列的最佳化。然後編譯器會為最佳化操作產生二進位程式碼，並將它們寫入共用的物件程式庫。編譯器也會將模型定義和參數儲存至不同的檔案。在執行期間，SageMaker Neo 執行時期會載入編譯器產生的成品 (模型定義、參數和共用的物件程式庫)，以便執行模型。

不需要。您可以在任何位置訓練模型，並使用 SageMaker Neo 來將它們針對 SageMaker ML 執行個體或 AWS IoT Greengrass 支援的裝置進行最佳化。

SageMaker Neo 目前支援為電腦視覺應用程式提供動力的最常見深度學習模型，以及 SageMaker AI 中現今所使用的最常見決策樹模型。SageMaker Neo 會將在 MXNet 和 TensorFlow 中訓練的 AlexNet、ResNet、VGG、Inception、MobileNet、SqueezeNet 和 DenseNet 模型，以及在 XGBoost 中訓練的分類和隨機分割森林模型的效能最佳化。

您可以在 SageMaker Neo 文件中找到受支援的雲端執行個體、邊緣裝置和架構版本的清單。

若要查看支援區域的清單，請檢視 AWS 區域清單。

利用 SageMaker HyperPod，現在只需幾個簡單的步驟，您即可從 SageMaker JumpStart 部署開放式權重基礎模型，或從 Amazon S3 和 Amazon FSx 部署您自己的經微調的模型。選取模型後，SageMaker HyperPod 會自動處理基礎設施佈建、端點組態和自動擴展設定，同時將全面的效能指標發佈到可觀測性儀表板，以便進行即時監控和最佳化。

SageMaker Savings Plans 提供一種適用於 SageMaker AI 的靈活用量型定價模式，可換取在 1 年或 3 年期的用量承諾 (以美元/小時計費)。SageMaker Savings Plans 提供最大靈活性，並協助您降低高達 64% 的成本。這些計劃會自動套用至符合資格的 SageMaker ML 執行個體用量，包括 SageMaker Studio Notebook、SageMaker On-Demand Notebook、SageMaker Processing、SageMaker Data Wrangler、SageMaker Training、SageMaker Real-Time Inference，以及 SageMaker Batch Transform，而不論執行個體系列、大小或區域為何。例如，您可以隨時將用量從美國東部 (俄亥俄) 執行的 CPU 執行個體 ml.c5.xlarge 變更為美國西部 (奧勒岡) 執行的 ml.Inf1 執行個體，以推論工作負載，並自動繼續支付 Savings Plans 的價格。

如果您具有一致的 SageMaker AI 執行個體用量 (以美元/小時計費)，並使用多個 SageMaker AI 元件或期望您的技術組態 (如執行個體系列或區域) 隨時間的推移而變更，SageMaker Savings Plans 可讓您更輕鬆地最大程度實現節省，同時靈活地根據應用程式需求或新創新變更基礎技術組態。Savings Plans 費率會自動套用至所有符合資格的 ML 執行個體用量，而無需手動修改。

適用於 SageMaker AI 的 Savings Plans 與適用於 Amazon EC2 的 Savings Plans 的差異在於他們所包含的服務。SageMaker Savings Plans 僅適用於 SageMaker ML 執行個體用量。

Savings Plans 可以在 AWS Organization/合併帳單系列內的任何帳戶中購買。依預設，Savings Plans 中提供的益處適用於 AWS Organization/合併帳單系列的所有帳戶中的用量。然而，您也可以選擇將 Savings Plans 的益處僅限於購買項目的帳戶。

是，使用 Amazon SageMaker AI，您即可加速模型自訂工作流程。  透過 AI 代理程式引導式工作流程 (預覽版) 或透過易於使用的介面 (UI)，即可快速開始使用。使用 AI 代理程式 (預覽版)，您可以用自然語言清楚闡述您的使用案例。根據您的使用案例要求說明，AI 代理程式會產生包含資料集準則、評估標準、相關指標以及自訂技術的規格。對話式介面可讓您根據需要迭代和進一步微調使用案例規格。藉助易於使用的 UI，您只需按幾下即可快速啟動模型自訂實驗，首先確定模型評估標準、選取模型和自訂技術，然後上傳資料集。SageMaker AI 會根據模型與資料大小自動選取並佈建適當運算資源。

一旦達到期望的準確度與效能目標，則只需按幾下即可透過 SageMaker 推論端點或 Amazon Bedrock，將模型部署到生產環境。或者，如果您想要增強控制和靈活性，則可以使用最佳化配方透過程式碼來自訂 AI 模型。每個配方都已經過 AWS 測試，能夠省去在數週內持續測試不同模型組態的繁瑣工作，進而實現最先進的效能。

在 SageMaker Studio 中，選取模型標籤即可開始使用易於使用的 UI 或透過筆記本進行操作。

SageMaker AI 提供無伺服器訓練，無需選取和管理執行個體。您只需為訓練期間處理的字符付費。如需詳細資訊，請參閱 SageMaker AI 定價頁面。

Amazon SageMaker AI 中用於模型自訂的 AI 代理程式引導式工作流程目前提供預覽版。您可以請求加入預覽版的邀請。請求獲准後，您即會在所提供的電子郵件中收到邀請。