Amazon SageMaker HyperPod ora supporta gruppi di istanze flessibili
Amazon SageMaker HyperPod ora supporta gruppi di istanze flessibili, consentendo ai clienti di specificare più tipi di istanze e più sottoreti all'interno di un singolo gruppo di istanze. I clienti che eseguono carichi di lavoro di addestramento e inferenza su HyperPod spesso necessitano di estendersi su più tipi di istanza e zone di disponibilità per resilienza della capacità, ottimizzazione dei costi e utilizzo delle sottoreti, ma in precedenza dovevano creare e gestire un gruppo di istanze separato per ogni combinazione di tipo di istanza e zona di disponibilità, causando un sovraccarico operativo nella configurazione del cluster, scalabilità, patching e monitoraggio.
Con i gruppi di istanze flessibili, puoi definire un elenco ordinato di tipi di istanza utilizzando il nuovo parametro requisiti di istanza e fornire più sottoreti tra zone di disponibilità in un singolo gruppo di istanze. HyperPod esegue il provisioning delle istanze utilizzando il tipo di priorità più elevata per primo e automaticamente ricorre ai tipi di priorità inferiore quando la capacità non è disponibile, eliminando la necessità per i clienti di riprovare manualmente tra singoli gruppi di istanze. I clienti di addestramento traggono vantaggio dalla distribuzione multi-sottorete all'interno di una zona di disponibilità per evitare l'esaurimento della sottorete. I clienti di inferenza che utilizzano la scalabilità manuale ottengono un fallback automatico basato sulla priorità tra i tipi di istanze senza necessità di riprovare ogni gruppo di istanze singolarmente, mentre quelli che utilizzano la scalabilità automatica di Karpenter possono fare riferimento a un singolo gruppo di istanze flessibile. Karpenter rileva automaticamente i tipi di istanza supportati dal gruppo di istanze flessibile ed esegue il provisioning del tipo e della zona di disponibilità ottimali in base ai requisiti del pod. Puoi creare gruppi di istanze flessibili utilizzando le API CreateCluster e UpdateCluster, l'AWS CLI o la Console di gestione AWS.
Sono disponibili gruppi di istanze flessibili per i cluster SageMaker HyperPod che utilizzano l'orchestratore EKS in tutte le regioni AWS in cui SageMaker HyperPod è supportato. Per ulteriori informazioni, consulta Gruppi di istanze flessibili.