Amazon SageMaker HyperPod agora oferece suporte a interfaces de rede Somente EFA
O Amazon SageMaker HyperPod agora oferece suporte a interfaces de rede Somente EFA para grupos de instâncias de cluster, o que permite configurar dispositivos dedicados do Elastic Fabric Adapter (EFA) sem o tradicional Adaptador de Rede Elástica (ENA) para redes IP. O SageMaker HyperPod é uma infraestrutura criada especificamente para o desenvolvimento de modelos de IA/ML, que oferece um ambiente resiliente e de alta performance, com tolerância a falhas integrada e recuperação automática de clusters. Agora, com Somente EFA, você pode escalar clusters de IA/ML ainda mais, sem correr o risco de esgotar endereços IP na sua VPC.
Ao executar workloads de treinamento distribuídas em grande escala, a largura de banda de comunicação entre nós é fundamental para a performance do treinamento. As instâncias de cluster do SageMaker HyperPod oferecem suporte a várias interfaces de rede compatíveis com EFA, mas configurá-las com o tipo de interface padrão efa conecta um dispositivo EFA e um dispositivo ENA (para rede IP) a cada interface, mesmo quando a rede IP só é necessária em um subconjunto de interfaces dentro de um nó. O tipo de interface efa inevitavelmente consome endereços IP da sua sub-rede para cada dispositivo ENA anexado, o que pode levar ao esgotamento de endereços IP e limitar a quantidade de nós que você consegue implantar em uma única sub-rede. Com este lançamento, você pode agora definir efa‑only ao configurar as interfaces de rede dos grupos de instâncias do seu cluster do HyperPod. Essa opção aloca a interface de rede exclusivamente para tráfego EFA, sem anexar um dispositivo ENA, o que permite maximizar a quantidade de interfaces EFA dedicadas à comunicação entre nós com baixa latência e alto throughput. Como interfaces Somente EFA não exigem endereços IP, você pode escalar para clusters maiores dentro das mesmas sub-redes sem enfrentar esgotamento de IPs. Essa configuração é especialmente vantajosa para tarefa de treinamento distribuídas em larga escala, nos quais a largura de banda de comunicação entre nós é crítica e a rede IP dedicada em cada interface não é necessária.
Para ativar a opção Somente EFA, especifique efa-only na configuração ClusterNetworkInterface ao criar ou atualizar seu cluster do HyperPod por meio da API CreateCluster/UpdateCluster. Somente EFA está disponível em todas as regiões da AWS que oferecem o Amazon SageMaker HyperPod. Para saber mais, consulte ClusterNetworkInterface na Referência de APIs do Amazon SageMaker.