Amazon SageMaker AI réduit de moitié le temps de mise à l’échelle de l’inférence de l’IA générative grâce à la mise en cache automatique des images de conteneurs
Amazon SageMaker Inference prend désormais en charge la mise en cache des images de conteneurs, ce qui permet une mise à l’échelle de bout en bout jusqu’à deux fois plus rapide pour les modèles d’IA générative lors d’événements à augmentation horizontale. Lorsque votre point de terminaison évolue, le service met en cache préalablement l’image de votre conteneur afin que les nouvelles instances puissent commencer à traiter le trafic plus rapidement, sans attendre que les images de conteneur volumineuses soient extraites d’Amazon ECR.
Les charges de travail basées sur l’IA générative utilisent généralement de grandes images de conteneurs (10 Go ou plus) pour les frameworks d’apprentissage de deep learning et la diffusion de modèles. Auparavant, chaque nouvelle instance lancée pendant la mise à l’échelle devait extraire l’image complète de l’ECR, ce qui ajoutait plusieurs minutes de latence au démarrage à froid. La mise en cache des images de conteneur élimine ce goulot d’étranglement en extrayant l’image au préalable afin que de nouvelles instances soient lancées alors que le conteneur est déjà disponible localement. Les clients n’ont pas besoin d’apporter de modifications. Le service met automatiquement en cache l’URL d’image spécifié dans la configuration de votre point de terminaison ou de votre composant d’inférence. Cette fonctionnalité prend en charge les types d’instances d’accélérateur, les points de terminaison à modèle unique et les points de terminaison basés sur des composants d’inférence.
Avec ce lancement, SageMaker Inference propose désormais une suite complète d’optimisation de la mise à l’échelle pour l’IA générative : mesures de simultanéité inférieures à la minute pour une détection de charge jusqu’à six fois plus rapide, mise en cache des conteneurs de stockage d’instance pour une mise à l’échelle plus rapide sur les instances existantes et mise en cache des images de conteneurs pour une mise à l’échelle jusqu’à deux fois plus rapide sur les nouvelles instances.
La mise en cache des images de conteneurs est disponible dans toutes les régions commerciales AWS où SageMaker Inference est pris en charge. Pour en savoir plus, consultez le blog de lancement.