Amazon SageMaker HyperPod prend désormais en charge les instances G7e et r5d.16xlarge
Amazon SageMaker HyperPod prend désormais en charge les instances G7e et r5d.16xlarge. SageMaker HyperPod est une infrastructure spécialement conçue pour le développement, la formation et le déploiement de modèles de base à grande échelle. Il fournit un environnement résilient et performant avec une tolérance aux pannes intégrée, une restauration automatique des clusters et des bibliothèques de formation distribuées optimisées, réduisant ainsi la charge indifférenciée liée à la gestion d’une infrastructure IA/ML à grande échelle.
Les instances G7e sont alimentées par des GPU NVIDIA RTX PRO 6000 Blackwell Server Edition et offrent des performances d’inférence jusqu’à 2,3 fois supérieures à celles des instances G6e, ce qui vous permet de traiter plus de demandes par seconde tout en réduisant la latence. Avec un maximum de 768 Go de mémoire GPU totale, les instances G7e vous permettent de déployer des modèles de langage plus volumineux ou d’exécuter plusieurs modèles sur un seul point de terminaison. Vous pouvez utiliser ces instances pour déployer des LLM, une IA agentique, une IA générative multimodale et des modèles d’IA physique. Les instances G7e sont également parfaitement adaptées au peaufinage rentable d’un seul nœud ou à l’entraînement du NLP, de la vision par ordinateur et de modèles d’IA générative plus petits, avec jusqu’à 1,27 fois plus de TFLOP et jusqu’à 4 fois la bande passante GPU-à-GPU par rapport aux instances G6e. De plus, HyperPod prend désormais également en charge la taille r5d.16xlarge. La taille r5d.16xlarge propose 64 vCPU, 512 Go de mémoire et 5 instances de stockage SSD NVMe de 600 Go, alimentées par des processeurs Intel Xeon Platinum série 8000 dotés d’une fréquence turbo soutenue sur tous les cœurs pouvant atteindre 3,1 GHz. Cette instance convient parfaitement au prétraitement distribué des données d’entraînement, en particulier avec des frameworks tels que Ray, à l’ingénierie des fonctionnalités à grande échelle et à l’exécution de services d’orchestration exigeants en mémoire parallèlement au calcul GPU.
Les instances G7e sont disponibles dans les régions USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon) et Asie-Pacifique (Tokyo), et la taille r5d.16xlarge est disponible dans toutes les régions où Amazon SageMaker HyperPod est disponible.