SageMaker 다중 모델 엔드포인트와 Amazon CloudWatch는 운영 우수성을 향상시키도록 설계되었으며 이 지침 전반에 걸쳐 활용됩니다. 첫째, SageMaker 다중 모델 엔드포인트를 사용하면 단일 엔드포인트 뒤에 여러 모델을 배포하므로 관리가 필요한 엔드포인트의 수를 줄일 수 있습니다. SageMaker는 트래픽 패턴을 기반으로 로드 및 캐싱 모델을 관리합니다. 엔드포인트를 재배포하지 않고도 모델을 추가하거나 업데이트할 수 있습니다. SageMaker에서 관리하는 Amazon S3 위치에 모델을 업로드하기만 하면 됩니다. 또한 SageMaker는 CloudWatch와 자동으로 통합되므로 모델의 지표, 이벤트 및 로그 파일을 추적하고 모델의 성능에 대한 이해를 높일 수 있습니다. 또한 고객 경험에 영향을 미치기 전에 경보를 설정하고 문제를 사전에 모니터링할 수 있습니다.

API Gateway는 API 요청을 인증 및 승인하는 내장 메커니즘을 제공하여 서비스 거부 공격이나 백엔드 리소스에 과부하를 줄 수 있는 기타 유형의 남용을 방지합니다. 또한 Amazon Cognito 사용자 풀, OAuth 2.0 또는 IAM 역할을 사용하여 API에 대한 액세스를 제어할 수도 있습니다. 그리고 데이터를 보호하기 위해 API Gateway는 엔드포인트로 들어오는 데이터를 SSL/TLS로 암호화합니다. API 제한을 지원하여 과도한 트래픽이나 남용으로부터 API를 보호하기도 합니다. 또한 웹 기반 공격 및 익스플로잇으로부터 애플리케이션을 보호하기 위해 API Gateway 앞에 웹 애플리케이션 방화벽인 AWS WAF를 추가하는 것도 좋습니다. 마지막으로, 분산 서비스 거부(DDoS) 공격으로부터 워크로드를 보호하기 위해 AWS Shield를 고려해 볼 수 있습니다.

워크로드의 신뢰성을 향상시키기 위해 이 지침 전반에 걸쳐 API Gateway, Lambda, SageMaker가 배포됩니다. 먼저, API Gateway는 내결함성과 자동 규모 조정 기능을 기본으로 제공하여 트래픽 급증을 처리합니다. 또한 Lambda 및 SageMaker와 통합되므로 확장 가능한 서버리스 API를 쉽게 구축할 수 있습니다. 게다가 SageMaker는 기계 학습 워크로드 실행 및 기계 학습 모델 제공에 높은 신뢰성과 가용성을 제공하도록 설계되었습니다. 관리형 자동 규모 조정, 내결함성, 상태 확인, 모니터링 및 진단을 제공합니다. 여러 가용 영역 전역에 퍼진 분산 인프라에서 실행되므로 고가용성이 보장됩니다. 이를 통해 모델 훈련과 추론의 신뢰성이 보장됩니다.

여기서는 SageMaker를 사용하여 기계 학습 모델을 호스팅하는 데 사용할 수 있는 지연 시간이 짧은 고성능 추론 서비스를 제공하여 성능 효율성을 개선합니다. 인스턴스 유형, 개수 및 기타 배포 구성을 쉽게 구성하여 추론 워크로드의 크기를 적절하게 조정하고 지연 시간, 처리량, 비용을 최적화할 수 있습니다.

SageMaker 다중 모델 엔드포인트에서는 많은 수의 모델을 배포하는 확장 가능하고 비용 효율적인 방법을 제공합니다. 이러한 엔드포인트는 동일한 컨테이너를 사용하여 모든 모델을 호스팅하므로 개별 엔드포인트를 관리하는 오버헤드를 줄일 수 있습니다. 일부 모델의 활용도가 낮은 상황에서는 별도의 엔드포인트 사용보다 리소스 공유로 인프라 활용도를 극대화하고 비용을 절감할 수 있습니다. 

SageMaker 비동기 추론은 수신 요청을 대기열에 넣고 비동기식으로 처리하는 기능입니다. 즉, SageMaker는 사용하지 않을 때 인스턴스를 0개로 자동 축소하여 유휴 상태일 때 컴퓨팅 리소스를 절약하고 클라우드 워크로드 실행으로 인한 환경적 영향을 최소화합니다.