L’inférence Amazon SageMaker AI prend désormais en charge le partitionnement GPU pour les points de terminaison en temps réel
L’inférence Amazon SageMaker AI prend désormais en charge le partitionnement des GPU, ce qui vous permet d’exécuter plusieurs modèles sur un seul GPU au lieu de consacrer un accélérateur complet à chacun d’entre eux. Grâce à la technologie NVIDIA Multi-Instance GPU (MIG), SageMaker AI divise un GPU en sept partitions isolées, chacune dotée de sa propre mémoire et de ses propres capacités de calcul. Les clients proposant des modèles de petite et moyenne taille, tels que des variantes affinées, des modèles de vectorisation, des reclassements et des classificateurs, devaient auparavant doter chaque modèle d’un accélérateur complet. Ainsi, une instance n’hébergeait pas plus de modèles qu’elle ne possédait de GPU et payait pour la capacité GPU que ces modèles ne pourraient jamais utiliser.
Avec le partitionnement des GPU, vous choisissez comment diviser les GPU situés derrière votre point de terminaison et vous placez chaque modèle sur une partition dimensionnée pour lui convenir. Plusieurs modèles partagent ensuite un seul accélérateur avec une isolation matérielle, de sorte qu’un modèle occupé ne peut pas utiliser la mémoire ou le débit des modèles voisins. Le dimensionnement adapté d’un accélérateur à une charge de travail ouvre également la voie à de nouvelles générations d’instances qui auraient autrement une capacité supérieure à celle dont un modèle unique a besoin. Vous configurez le partitionnement du GPU lorsque vous créez un point de terminaison qui héberge des composants d’inférence, et vous continuez à appeler chaque modèle par son nom, afin que le code de votre application ne change pas.
Le partitionnement GPU est disponible sur les instances P4d, P5, G7 et G7e dans les régions USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Asie-Pacifique (Singapour), Asie-Pacifique (Tokyo), Europe (Francfort) et Europe (Irlande). Pour en savoir plus, rendez-vous sur la page de déploiement d’Amazon SageMaker AI et consultez le Guide du développeur d’Amazon SageMaker AI.