Los puntos de enlace multimodelo de SageMaker y Amazon CloudWatch se utilizan a lo largo de esta guía y están diseñados para mejorar su excelencia operativa. En primer lugar, los puntos de conexión multimodelo de SageMaker le permiten implementar diversos modelos detrás de un único punto de conexión, lo que reduce la cantidad de puntos que necesita administrar. SageMaker administra los modelos de carga y almacenamiento en caché en función de sus patrones de tráfico. Puede agregar o actualizar el modelo sin volver a implementar el punto de conexión. Simplemente cargue los modelos en la ubicación de Amazon S3 administrada por SageMaker. Además, SageMaker se integra automáticamente con CloudWatch, donde puede realizar un seguimiento de las métricas, los eventos y los archivos de registro del modelo y obtener información sobre el rendimiento de sus modelos. También puede configurar alarmas y supervisar los problemas de forma proactiva antes de que afecten la experiencia del cliente.

API Gateway proporciona mecanismos integrados para autenticar y autorizar las solicitudes de API, lo que evita los ataques de denegación de servicio u otros tipos de abuso que pueden sobrecargar sus recursos de backend. También puede usar los grupos de usuarios de Amazon Cognito, OAuth 2.0 o roles de IAM para controlar el acceso a sus API. Y para proteger los datos, API Gateway garantiza que los datos que llegan a su punto de conexión estén cifrados con SSL/TLS. También admite la limitación de API, lo que ayuda a proteger sus API contra el tráfico excesivo o el abuso. Además, considere agregar AWS WAF, un firewall de aplicaciones web, delante de API Gateway para proteger las aplicaciones de ataques y exploits basados en la web. Por último, considere AWS Shield para proteger sus cargas de trabajo de los ataques distribuidos de denegación de servicio (DDoS).

API Gateway, Lambda y SageMaker se implementan en esta guía para mejorar la fiabilidad de sus cargas de trabajo. En primer lugar, API Gateway ofrece tolerancia a errores integrada y escalado automático para gestionar los picos de tráfico. También se integra con Lambda y SageMaker para facilitar la creación de API escalables y sin servidor. Además, SageMaker está diseñado para ofrecer una alta fiabilidad y disponibilidad a fin de ejecutar cargas de trabajo de machine learning y ofrecer modelos de machine learning. Proporciona escalado automático administrado, tolerancia a errores, comprobaciones de estado, supervisión y diagnósticos. Se ejecuta en una infraestructura distribuida en varias zonas de disponibilidad, lo que garantiza una alta disponibilidad. Esto garantiza la fiabilidad del entrenamiento y las inferencias de sus modelos.

SageMaker , en este caso, se utiliza para mejorar la eficacia del rendimiento, mediante un servicio de inferencia de alto rendimiento y baja latencia que se puede utilizar para alojar modelos de machine learning. Puede configurar fácilmente el tipo de instancia, el recuento y otras configuraciones de implementación para ajustar el tamaño correcto de su carga de trabajo de inferencia y optimizar la latencia, el rendimiento y el costo.

Los puntos de conexión multimodelo de SageMaker proporcionan una forma escalable y rentable de implementar una gran cantidad de modelos. Estos puntos de conexión utilizan el mismo contenedor para alojar todos sus modelos, lo que le permite reducir la sobrecarga de administrar puntos de conexión independientes. En una situación en la que algunos de los modelos no se utilizan tanto, cuenta con el uso compartido de recursos para maximizar la utilización de la infraestructura y ahorrar costos en comparación con tener puntos de conexión separados. 

La inferencia asincrónica de SageMaker es una capacidad que pone en cola las solicitudes entrantes y las procesa de forma asincrónica. Es decir, SageMaker puede escalarse automáticamente hasta cero instancias cuando no se usa, lo que ahorra recursos informáticos cuando está inactivo y ayuda a minimizar el impacto ambiental de la ejecución de las cargas de trabajo en la nube.