Amazon SageMaker AI riduce fino alla metà i tempi di scalabilità orizzontale dell'inferenza IA generativa grazie al caching automatico delle immagini dei container
Amazon SageMaker Inference ora supporta il caching delle immagini dei container, consentendo una scalabilità orizzontale end-to-end fino a 2 volte più rapida per i modelli di IA generativa durante gli eventi di aumento della capacità. Quando l'endpoint si espande orizzontalmente, il servizio pre-memorizza nella cache l'immagine del container, in modo che le nuove istanze possano iniziare a gestire il traffico più rapidamente, senza dover attendere lo scaricamento (pull) di immagini di container di grandi dimensioni da Amazon ECR.
I carichi di lavoro di IA generativa utilizzano in genere immagini di container di grandi dimensioni (pari o superiori a 10 GB) per i framework di deep learning e il servizio dei modelli. In precedenza, ogni nuova istanza avviata durante la scalabilità orizzontale doveva scaricare l'immagine completa da Amazon ECR, aggiungendo diversi minuti di latenza per l'avvio a freddo. Il caching delle immagini di container elimina questo collo di bottiglia eseguendo il pre-pull dell'immagine, in modo che le nuove istanze vengano avviate con il container già disponibile a livello locale. I clienti non devono apportare alcuna modifica. Il servizio memorizza automaticamente nella cache qualsiasi URI di immagine specificato nella configurazione dell'endpoint o del componente di inferenza. Questa funzionalità supporta tipi di istanza con acceleratore, endpoint a modello singolo ed endpoint basati su componenti di inferenza.
Con questo lancio, SageMaker Inference offre ora una suite completa di ottimizzazione della scalabilità per l'IA generativa: metriche di concorrenza inferiori al minuto per un rilevamento del carico fino a 6 volte più rapido, caching dei container nell'instance store per una scalabilità più veloce sulle istanze esistenti e caching delle immagini dei container per una scalabilità fino a 2 volte più rapida sulle nuove istanze.
Il caching delle immagini dei container è disponibile in tutte le regioni AWS commerciali in cui è supportato SageMaker Inference. Per ulteriori informazioni, consulta il post del blog di lancio.