Amazon SageMaker HyperPod prend désormais en charge les interfaces réseau EFA uniquement
Amazon SageMaker HyperPod prend désormais en charge les interfaces réseau EFA uniquement pour les groupes d’instances de cluster, ce qui vous permet de configurer des appareils Elastic Fabric Adapter (EFA) dédiés sans utiliser l’Adaptateur réseau élastique (ENA) traditionnel pour les réseaux IP. SageMaker HyperPod est une infrastructure spécialement conçue pour le développement de modèles d’IA/ML qui fournit un environnement résilient et performant avec une tolérance aux pannes intégrée et une restauration automatique des clusters. Désormais, avec l’interface EFA seule, vous pouvez faire évoluer davantage les clusters d’IA/ML sans risquer d’épuiser les adresses IP de votre VPC.
Lors de l’exécution de charges de travail de formation distribuées à grande échelle, la bande passante de communication inter-nœuds est essentielle aux performances de formation. Les instances de cluster SageMaker HyperPod prennent en charge plusieurs interfaces réseau compatibles EFA, mais leur configuration avec le type d’interface efa standard permet d’associer à la fois un périphérique EFA et un périphérique ENA (pour la mise en réseau IP) à chaque interface, même lorsque le réseau IP n’est nécessaire que sur un sous-ensemble d’interfaces au sein d’un nœud. Le type d’interface efa consomme inévitablement les adresses IP de votre sous-réseau pour chaque périphérique ENA connecté, ce qui peut entraîner un épuisement des adresses IP et limiter le nombre de nœuds que vous pouvez déployer au sein d’un seul sous-réseau. Avec ce lancement, vous pouvez désormais configurer l’interface efa seule lors de la configuration des interfaces réseau pour vos groupes d’instances de cluster HyperPod. Cette option alloue l’interface réseau exclusivement au trafic EFA sans connecter de périphérique ENA, ce qui vous permet de maximiser le nombre d’interfaces EFA dédiées aux communications inter-nœuds à faible latence et haut débit. Étant donné que les interfaces EFA seule ne nécessitent pas d’adresses IP, vous pouvez passer à des clusters plus importants au sein des mêmes sous-réseaux sans épuiser les adresses IP. Cette configuration est particulièrement utile pour les tâches d’entraînement distribuées à grande échelle où la bande passante de communication inter-nœuds est essentielle et où la mise en réseau IP dédiée sur chaque interface n’est pas requise.
Pour activer l’interface EFA seule, spécifiez efa-only dans la configuration ClusterNetworkInterface lors de la création ou de la mise à jour de votre cluster HyperPod via l’API CreateCluster/UpdateCluster. Cette fonctionnalité est disponible dans toutes les Régions AWS dans lesquelles Amazon SageMaker HyperPod est proposé. Pour en savoir plus, consultez ClusterNetworkInterface de la référence d’API Amazon SageMaker.