Amazon SageMaker HyperPod artık API tabanlı Slurm yapılandırmasını destekliyor
Amazon SageMaker HyperPod artık API tabanlı Slurm yapılandırmasını destekliyor. Bu sayede Slurm topolojisini ve paylaşılan dosya sistemi yapılandırmalarını doğrudan küme oluşturma ve güncelleme API’leri üzerinden veya AWS Konsolu aracılığıyla tanımlayabilirsiniz. SageMaker HyperPod, makine öğrenimi (ML) iş yüklerini çalıştırmak ve büyük dil modelleri (LLM'ler), difüzyon modelleri ve altyapı modelleri (FM'ler) gibi son teknoloji modelleri geliştirmek için esnek kümeler oluşturmanıza yardımcı olur.
Bu yeni API tabanlı yapılandırma sayesinde artık doğrudan küme API tanımında veya AWS Konsolu'ndaki gelişmiş yapılandırma bölümü aracılığıyla küme bulut sunucusu grupları için Denetleyici, Giriş ve Hesaplama dahil olmak üzere Slurm düğüm türlerini, bulut sunucusu grubu ile bölüm eşlemelerini ve bulut sunucusu grubu başına Lustre İçin FSx ile OpenZFS İçin FSx dosya sistemi bağlamalarını belirleyebilirsiniz. Küme kaynak atamalarında ince ayar yapmak için doğrudan Slurm'un kendi yapılandırma dosyalarında bölüm-düğüm eşlemelerini değiştirdiğinizde, Slurm'un bölüm-düğüm yapılandırmaları HyperPod'un görünümüyle uyumsuz hale gelebilir. Yeni bir küme düzeyinde SlurmConfigStrategy, "Yönetilen", "Üzerine Yaz" ve "Birleştir" olmak üzere üç seçenekle sapmayı yönetmenize yardımcı olur. Yönetilen strateji, API veya Konsol aracılığıyla bulut sunucusu grubu ile bölüm eşlemelerini tamamen yönetmenize olanak tanır ve ölçek büyütme veya küçültme işlemleri sırasında bölüm-düğüm eşlemelerindeki sapmaları otomatik olarak algılar. Sapma tespit edildiğinde, API tarafından tanımlanan eşlemeleri zorlamak için "Üzerine Yaz" stratejisine, manuel özelleştirmeleri korumak için "Birleştir" stratejisine geçerek ya da HyperPod ile uyumlu hale getirmek üzere Slurm yapılandırmalarını doğrudan güncelleyerek sorunu çözmenize kadar küme güncellemeleri askıya alınır.
API tabanlı Slurm yapılandırması, SageMaker HyperPod'un kullanıma sunulduğu tüm AWS bölgelerinde kullanılabilir. Kullanmaya başlamak için AWS Yönetim Konsolu, AWS CLI, AWS CloudFormation veya AWS SDK'lerini kullanabilirsiniz. Daha fazla bilgi için, Konsol veya CLI kullanarak küme oluşturmaya ilişkin Amazon SageMaker HyperPod belgelerine ve CreateCluster ile UpdateCluster API referansına bakın.