Os endpoints multimodelo do SageMaker e o Amazon CloudWatch são usados ao longo desta Orientação e projetados para aprimorar sua excelência operacional. Primeiro, os endpoints multimodelo do SageMaker permitem que você implante vários modelos por trás de um único endpoint, reduzindo o número de endpoints que você precisa gerenciar. O SageMaker gerencia modelos de carregamento e armazenamento em cache com base em seus padrões de tráfego. Você pode adicionar ou atualizar o modelo sem implantar novamente o endpoint. Basta fazer o upload dos modelos para o local gerenciado pelo SageMaker no Amazon S3. Além disso, o SageMaker se integra automaticamente ao CloudWatch, em que você pode rastrear métricas, eventos e arquivos de log do modelo e obter insights sobre a performance de seus modelos. Você também pode definir alarmes e monitorar de forma proativa possíveis problemas antes que eles impactem a experiência do cliente.

O API Gateway fornece mecanismos integrados para autenticar e autorizar solicitações de API, prevenindo ataques de negação de serviço ou outros tipos de abuso que podem sobrecarregar os recursos de backend. Além disso, é possível usar grupos de usuários do Amazon Cognito, do OAuth 2.0 ou perfis do IAM para controlar o acesso às APIs. E para proteger os dados, o API Gateway garante que os dados que chegam ao seu endpoint sejam criptografados por SSL/TLS. Ele também é compatível com controle de utilização de APIs, ajudando a proteger suas APIs de tráfego excessivo ou uso abusivo. Considere ainda adicionar o AWS WAF, um firewall de aplicações web, como camada de proteção para o API Gateway a fim de proteger aplicações contra ataques e explorações da web. Por fim, considere o AWS Shield para proteger as workloads de ataques de negação de serviço distribuída (DDoS).

O API Gateway, o Lambda e o SageMaker são usados ao longo desta Orientação para aumentar a confiabilidade das workloads. Primeiro, o API Gateway fornece tolerância a falhas e ajuste de escala automático incorporados para lidar com picos de tráfego. Ele também se integra ao Lambda e ao SageMaker para facilitar a criação de APIs escaláveis e sem servidor. Além disso, o SageMaker foi projetado para fornecer alta confiabilidade e disponibilidade para executar workloads de machine learning e servir modelos de machine learning. Ele fornece ajuste de escala automático gerenciado, tolerância a falhas, verificações de integridade, monitoramento e diagnóstico. Ele é executado em uma infraestrutura distribuída em várias zonas de disponibilidade, garantindo alta disponibilidade. Esses recursos garantem a confiabilidade do treinamento de modelo e das inferências.

O SageMaker é usado nesta Orientação para aprimorar a eficiência da performance, fornecendo um serviço de inferência de alta performance e baixa latência que pode ser usado para hospedar modelos de machine learning. É possível configurar de forma simples o tipo de instância, o número de instâncias e outras configurações de implantação para ajustar corretamente a workload de inferência, otimizando latência, throughput e custo.

Os endpoints multimodelo do SageMaker fornecem uma maneira escalável e com boa relação custo-benefício para implantar grandes quantidades de modelos. Esses endpoints usam o mesmo contêiner para hospedar todos os seus modelos, permitindo que você reduza a sobrecarga do gerenciamento de endpoints separados. Quando alguns dos modelos não são utilizados com tanta frequência, há compartilhamento de recursos para maximizar a utilização da infraestrutura e reduzir custos em relação à criação de endpoints separados. 

A inferência assíncrona do SageMaker é uma funcionalidade que coloca as solicitações recebidas em fila e processa essas solicitações de forma assíncrona. Em outras palavras, o SageMaker pode reduzir automaticamente para zero instâncias quando não estiver sendo utilizado, economizando recursos de computação em períodos ociosos e contribuindo para reduzir o impacto ambiental das workloads na nuvem.