Gli endpoint multimodello SageMaker e Amazon CloudWatch sono utilizzati in questa guida e progettati per migliorare la tua eccellenza operativa. Innanzitutto, gli endpoint multi-modello SageMaker consentono di implementare una moltitudine di modelli dietro un singolo endpoint, riducendo il numero di endpoint da gestire. SageMaker gestisce i modelli di caricamento e memorizzazione nella cache in base ai modelli di traffico. È possibile aggiungere o aggiornare il modello senza reimplementare l'endpoint. Basta caricare i modelli nella sede Amazon S3 gestita da SageMaker. Inoltre, SageMaker si integra automaticamente con CloudWatch, dove puoi tenere traccia di metriche, eventi e file di log dal modello e ottenere informazioni dettagliate sulle prestazioni dei modelli. È anche possibile impostare allarmi e monitorare in modo proattivo i problemi prima che influiscano sull'esperienza del cliente.

Gateway API fornisce meccanismi integrati per autenticare e autorizzare le richieste API, prevenendo attacchi denial-of-service o altri tipi di abuso che possono sovraccaricare le risorse di back-end. Puoi anche utilizzare i pool di utenti di Amazon Cognito, i ruoli OAuth 2.0 o IAM per controllare l'accesso alle tue API. E per proteggere i dati, Gateway API garantisce che i dati che arrivano all'endpoint siano crittografati con SSL/TLS. Supporta anche la limitazione delle API, aiutando a proteggerle da traffico eccessivo o abusi. Inoltre, prendi in considerazione l'aggiunta di AWS WAF, un firewall per applicazioni Web, davanti all'API Gateway per proteggere le applicazioni da attacchi ed exploit basati sul Web. Infine, considera AWS Shield per proteggere i tuoi carichi di lavoro dagli attacchi DDoS (Distributed Denial of Service).

Gateway API, Lambda e SageMaker sono implementati in questa Guida per migliorare l'affidabilità dei carichi di lavoro. Innanzitutto, Gateway API offre una tolleranza ai guasti integrata e un dimensionamento automatico per gestire i picchi di traffico. Si integra, inoltre, con Lambda e SageMaker per semplificare la creazione di API scalabili e serverless. Inoltre, SageMaker è progettato per fornire elevata affidabilità e disponibilità per l'esecuzione di carichi di lavoro di machine learning e per servire modelli di machine learning. Fornisce dimensionamento automatico gestito, tolleranza ai guasti, controllo dell'integrità, monitoraggio e diagnostica. Funziona su un'infrastruttura distribuita su più zone di disponibilità, garantendo un'elevata disponibilità. Questi garantiscono l'affidabilità dell'addestramento e delle inferenze dei modelli.

SageMaker viene utilizzato qui per migliorare l'efficienza delle prestazioni, fornendo un servizio di inferenza ad alte prestazioni e bassa latenza che può essere utilizzato per ospitare modelli di machine learning. È possibile configurare facilmente il tipo di istanza, il conteggio e altre configurazioni di implementazione per dimensionare correttamente il carico di lavoro di inferenza, ottimizzando latenza, throughput e costi.

Gli endpoint multi-modello SageMaker forniscono un modo scalabile ed economico per implementare un gran numero di modelli. Questi endpoint utilizzano lo stesso contenitore per ospitare tutti i modelli, consentendo di ridurre il sovraccarico della gestione di endpoint separati. In una situazione in cui alcuni modelli non vengono utilizzati così tanto, è possibile condividere le risorse per massimizzare l'utilizzo dell'infrastruttura e risparmiare sui costi rispetto all'utilizzo di endpoint separati. 

L'inferenza asincrona SageMaker è una funzionalità che mette in coda le richieste in arrivo ed elabora tali richieste in modo asincrono. Ciò significa che SageMaker può ridurre verticalmente in modo automatico fino a zero le istanze inutilizzate, risparmiando risorse di calcolo in caso di inattività e contribuendo a ridurre al minimo gli impatti ambientali dell'esecuzione dei carichi di lavoro cloud.