Amazon SageMaker HyperPod migliora il supporto per Ray
Amazon SageMaker HyperPod offre ora un supporto avanzato per Ray grazie ad osservabilità integrata, addestramento resiliente, inferenza accelerata e ambienti di sviluppo gestiti. Ray è un popolare framework open source per scalare i carichi di lavoro di intelligenza artificiale su un livello di elaborazione unificato, dall'elaborazione dei dati e dall'addestramento distribuito al reinforcement learning e al model serving. L'esecuzione di Ray su Kubernetes su scala di produzione può comportare oneri operativi significativi, quali blocchi dei job, basso utilizzo della GPU a causa di allocazioni statiche dei team e una configurazione dell'osservabilità articolata in più fasi. Inoltre, la mancanza di un ambiente di sviluppo interattivo fa sì che ogni modifica al codice richieda un nuovo invio di job e familiarità con kubectl.
HyperPod introduce ora un'esperienza di sviluppo più semplice, un addestramento resiliente e un'inferenza accelerata per Ray. I data scientist possono creare, modificare, monitorare ed eliminare i cluster Ray tramite un'interfaccia basata sul Web in Amazon SageMaker Studio, per poi collegare JupyterLab, editor di codice o un IDE locale a un cluster Ray in esecuzione ed eseguire iterazioni interattive sfruttando la potenza di calcolo su scala di cluster. Un cluster Ray multinodo si comporta come un ambiente di sviluppo locale, consentendo di testare immediatamente ogni modifica senza dover attendere che un nuovo job venga messo in coda e avviato. Per quanto riguarda l'osservabilità, HyperPod configura dashboard di Grafana con le metriche di Amazon Managed Service for Prometheus e consente l'accesso con un clic alla dashboard di Ray tramite un collegamento sicuro nel browser, offrendo visibilità sui carichi di lavoro fin dalla prima esecuzione. Per l'addestramento su larga scala, il ripristino automatico dei nodi HyperPod e il rilevamento dei job bloccati gestiscono guasti della GPU, blocchi dei job, picchi di loss e cali di throughput. Il meccanismo di checkpoint a livelli ripristina lo stato dalla memoria del cluster per massimizzare il goodput, mentre la governance delle attività ottimizza l'utilizzo delle risorse di calcolo tramite quote, priorità e prelazione. Nel loro insieme, queste funzionalità consentono ai lunghi cicli di addestramento di proseguire nonostante i guasti, massimizzando il lavoro utile completato per ora di GPU. Per l'inferenza con Ray Serve, una cache KV multilivello riutilizza i prefissi memorizzati nella cache per ridurre il tempo al primo token, ed è possibile distribuire direttamente i modelli di Amazon SageMaker JumpStart.
Il codice Ray open source viene eseguito senza modifiche ed è possibile scegliere se adottare l'esperienza dedicata in SageMaker Studio o integrare singole funzionalità all'interno della propria piattaforma di ML.
Il supporto per Ray è disponibile per i cluster HyperPod orchestrati da Amazon EKS, nelle regioni AWS in cui SageMaker HyperPod è supportato. Per ulteriori informazioni, consulta la documentazione di SageMaker HyperPod ed esplora la demo interattiva.