AWS Neuron, Amazon EKS ile Dinamik Kaynak Tahsisi desteğini duyurdu
AWS, Amazon Elastic Kubernetes Service (EKS) için Neuron Dinamik Kaynak Tahsisi (DRA) sürücüsünü duyurdu. Bu, AWS Trainium tabanlı bulut sunucularına Kubernetes yerel donanıma duyarlı zamanlamayı getiriyor. Neuron DRA sürücüsü, zengin aygıt niteliklerini doğrudan Kubernetes zamanlayıcısına yayınlayarak, özel zamanlayıcı uzantıları olmadan topolojiye duyarlı yerleştirme kararlarını etkinleştirir.
Kubernetes'te yapay zeka iş yüklerini dağıtmak, makine öğrenimi mühendislerinin cihaz sayılarını belirleme, donanım ve ağ topolojilerini anlama ve hızlandırıcıya özgü bildiriler yazma gibi model geliştirmeyle doğrudan ilgili olmayan altyapı kararları almasını gerektirir. Bu, sürtünme yaratır, yinelemeyi yavaşlatır ve iş yüklerini temel altyapıya sıkı bir şekilde birleştirir. Kullanım senaryoları dağıtılmış eğitime, uzun bağlamlı çıkarımlara ve ayrılmış mimarilere genişledikçe, bu karmaşıklık bir ölçekleme darboğazına dönüşür.
Neuron DRA sürücüsü, altyapı endişelerini makine öğrenimi iş akışlarından ayırarak bu yükü ortadan kaldırır. Altyapı ekipleri, cihaz topolojisini, tahsisini ve ağ politikalarını yakalayan yeniden kullanılabilir ResourceClaimTemplates'i tanımlar. Makine öğrenimi mühendisleri, donanım ayrıntıları hakkında akıl yürütmeye gerek kalmadan bu şablonlara bildirimlerinde kolayca referans yapabilir. Bu, iş yükü türleri içinde tutarlı dağıtımı mümkün kılarken iş yükü başına yapılandırmaya izin vererek çoklu iş yüklerinin aynı düğümü paylaşmalarına olanak tanır.
Neuron DRA sürücüsü tüm AWS Trainium bulut sunucusu türlerini destekler ve AWS Trainium'un kullanılabildiği tüm AWS Bölgelerinde kullanılabilir.
Belgeler, örnek şablonlar ve uygulama kılavuzları için Neuron DRA belgelerini ziyaret edin.
Daha fazla bilgi edinin: