Amazon SageMaker HyperPod ora supporta le istanze spot
Amazon SageMaker HyperPod ora supporta le istanze spot, consentendo ai clienti di ridurre fino al 90% i costi di calcolo della GPU rispetto alle istanze on demand su HyperPod. Con l'aumento delle dimensioni dei carichi di lavoro IA, l'ottimizzazione dei costi infrastrutturali diventa sempre più importante. L'integrazione con spot di SageMaker HyperPod risolve questa problematica permettendo ai clienti di sfruttare automaticamente la capacità EC2 di riserva con sconti significativi, mantenendo al contempo l'esperienza IA gestita che i clienti apprezzano in HyperPod.
Le istanze spot consentono alle organizzazioni di eseguire carichi di lavoro con tolleranza ai guasti in modo conveniente su larga scala. Puoi combinare le istanze spot con le istanze on demand per bilanciare l'ottimizzazione dei costi con la disponibilità garantita. La funzionalità è disponibile sui cluster HyperPod EKS e si integra con Karpenter per il dimensionamento automatico intelligente, individuando automaticamente la capacità spot disponibile e gestendo le interruzioni delle istanze.
Puoi abilitare le istanze spot durante la creazione dei gruppi di istanze attraverso l'API CreateCluster o la Console AWS. La funzionalità supporta tutti i tipi di istanze disponibili su HyperPod, incluse CPU e GPU. La disponibilità della capacità dipende dall'offerta fornita da EC2 e varia in base alla Regione e al tipo di istanza. Il supporto per le istanze spot è disponibile in tutte le regioni in cui attualmente viene fornito SageMaker HyperPod. Per ulteriori informazioni, consulta la relativa documentazione.