在本指南中使用 SageMaker 多模型端點和 Amazon CloudWatch，旨在提升您的營運卓越功能。首先，SageMaker 多模型端點可讓您在單一端點中部署多個模型，從而減少需要管理的端點數量。SageMaker 根據流量模式管理模型的載入和快取。您可以新增或更新模型，而無需重新部署端點。只需將模型上傳到 SageMaker 管理的 Amazon S3 位置即可。此外，SageMaker 會自動與 CloudWatch 整合，您可以在其中追蹤模型的指標、事件和日誌檔案，並深入了解模型的效能。您還可以設定警報，及時發現問題，以免問題影響客戶體驗。

API Gateway 提供內建機制來驗證和授權 API 請求，防止拒絕服務攻擊或其他可能導致後端資源過載的濫用行為。您也可以使用 Amazon Cognito 使用者集區、OAuth 2.0 或 IAM 角色來控制對 API 的存取權。為了保護資料，API Gateway 可確保傳入您端點的資料經過 SSL/TLS 加密。它還支援 API 限流，防止 API 接收過多流量或被濫用。 此外，您也可以考慮在 API 閘道前新增 AWS WAF (Web 應用程式防火牆)，以保護應用程式免受網頁式攻擊和漏洞的侵害。最後，考慮 AWS Shield 來保護您的工作負載免受分散式拒絕服務 (DDoS) 攻擊。

本指引中部署了 API Gateway、Lambda 和 SageMaker，以增強工作負載的可靠性。首先，API Gateway 提供內建容錯和自動擴展功能，以因應流量尖峰。它還與 Lambda 和 SageMaker 整合，讓您可以輕鬆建立可擴展的無伺服器 API。此外，SageMaker 提供高可靠性和可用性，讓機器學習工作負載和機器學習模型執行得更順暢。它提供受管自動擴展、容錯、運作狀態檢查、監控和診斷功能。它在跨多個可用區域的分散式基礎設施上執行，從而實現高可用性。這些功能確保了模型訓練和推論的可靠性。

SageMaker 在本指引中用於提高效能效率，提供可用於託管機器學習模型的高效能、低延遲推論服務。您可以輕鬆設定執行個體類型、數量和其他部署組態，以調整推論工作負載的大小，最佳化延遲、輸送量和成本。

SageMaker 多模型端點為部署大量模型提供了一種可擴展且符合成本效益的方法。這些端點使用相同的容器來託管所有模型，從而減少管理不同單獨端點的開銷。與擁有不同的單獨端點相比，在某些模型未充分利用的情況下，您可以藉助資源共用，最大化基礎設施使用率並節省成本。 

SageMaker 非同步推論是一種能夠排入傳入要求並非同步處理這些請求的功能。這意味著，SageMaker 可以在不使用時自動縮減至零個執行個體，從而在空閒時節省運算資源，並有助於最大限度地減少執行雲端工作負載對環境的影響。