Amazon SageMaker HyperPod, Ray desteğini artırıyor
Amazon SageMaker HyperPod artık yerleşik gözlemlenebilirlik, esnek eğitim, hızlandırılmış çıkarım ve yönetilen geliştirme ortamlarıyla Ray desteğini artırıyor. Ray, veri işlemeden ve dağıtılmış eğitimden pekiştirmeli öğrenmeye ve model sunumuna kadar birleşik bir bilgi işlem katmanındaki yapay zeka iş yüklerini ölçeklendirmek için kullanılan popüler bir açık kaynaklı çerçevedir. Ray'i Kubernetes üzerinde üretim ölçeğinde çalıştırmak istenmeyen operasyonel bir yük oluşturabilir: iş kilitlenmeleri, statik ekip tahsislerinden kaynaklanan düşük GPU kullanımı ve çok adımlı gözlemlenebilirlik kurulumu sizin için sıkıntılar çıkarabilir. Ayrıca etkileşimli bir geliştirme ortamının eksikliği, kodda herhangi bir değişiklik yapmak istediğinizde sizi başka bir iş gönderimi yapmaya zorlayabilir veya kubectl kullanmaya aşina olmanızı gerektirebilir.
HyperPod artık daha kolay geliştirme, dayanıklı eğitim ve hızlandırılmış çıkarımı Ray'e getirir. Veri mühendisleri, Ray kümelerini Amazon SageMaker Stüdyosu üzerindeki bir web tabanlı arabirimden oluşturabilir, düzenleyebilir, izleyebilir ve silebilir, ardından JupyterLab, Code Editor veya yerel bir IDE'yi çalışan bir Ray kümesine ekleyebilir ve küme ölçeğinde işlemle etkileşimli bir şekilde yineleyebilir. Çok düğümlü bir Ray kümesi yerel bir geliştirme ortamı gibi davranır, bu nedenle yeni bir işin sıraya girmesini ve başlamasını beklemeden her değişikliği hemen test edebilirsiniz. HyperPod, gözlemlenebilirlik için Grafana panolarına Prometheus İçin Amazon Yönetilen Hizmet ölçümleri sağlar ve güvenli bir tarayıcı bağlantısı aracılığıyla Ray Dashboard'a tek tıklamayla erişime izin vererek iş yüklerinize ilk çalıştırmadan itibaren görünürlük sağlar. Ölçekli eğitim için HyperPod düğümü otomatik kurtarma ve askıya alınmış iş algılama, GPU hatalarını, iş kilitlenmelerini, kayıp artışlarını ve düşük aktarım hızını ele alır. Katmanlı kontrol noktaları, iyi performansı en üst düzeye çıkarmak için küme belleğinden durumu geri yükler. Görev yönetişimi ise kotalar, öncelikler ve ön alımlar yoluyla işlem kullanımını iyileştirir. Bunlar birlikte kullanıldığında, uzun eğitim çalışmalarınızın arıza durumlarında bile ilerlemesini sağlar ve GPU saati başına yapılan faydalı işi en üst düzeye çıkarır. Katmanlı bir KV önbelleği, Ray Serve ile çıkarım yapmak için ilk belirteç süresini kısaltmak üzere önbelleğe alınan ön ekleri yeniden kullanır, ayrıca Amazon SageMaker JumpStart modellerini doğrudan dağıtabilirsiniz.
Açık kaynaklı Ray kodu değişmeden çalışır ve ister SageMaker Stüdyosu'ndaki amaca yönelik deneyimi benimseyebilir, isterseniz de kendi makine öğrenimi platformunuza entegre etmek için seçtiğiniz özellikleri kullanabilirsiniz.
SageMaker HyperPod'un desteklendiği AWS Bölgelerinde Amazon EKS tarafından düzenlenen HyperPod kümeleri için Ray desteği mevcuttur. Daha fazla bilgi edinmek için SageMaker HyperPod belgelerine bakın ve etkileşimli demoyu inceleyin.