Amazon ECS artık NVIDIA Multi-Process Service (MPS) ile GPU paylaşımını destekliyor
Amazon Elastic Container Service (Amazon ECS) artık NVIDIA Multi-Process Service (MPS) ile GPU paylaşımını destekleyerek tek bir NVIDIA GPU'su üzerinde birden fazla Amazon ECS görevini aynı anda çalıştırmanıza olanak tanır. GPU paylaşımı, küçük model çıkarımı, AV/ADAS simülasyonları, katıştırma oluşturma ve çoklu model sunumu gibi GPU kapasitesinin yalnızca bir kısmını kullanan iş yüklerinde GPU kullanımını artırmanıza ve altyapı maliyetlerini azaltmanıza yardımcı olur.
GPU paylaşımı sayesinde, uygulama kodunuzu değiştirmeden her GPU bulut sunucusuna daha fazla iş yükü paketleyebilirsiniz. Her container'ın ihtiyaç duyduğu GPU belleğini tanımlarsınız ve isteğe bağlı olarak maksimum GPU işlem payını ayarlayabilirsiniz. Amazon ECS, hizmetleriniz ölçeklendikçe ve dağıtılırken görevleri kullanılabilir kapasiteye sahip GPU'lara yerleştirir. GPU paylaşımı Amazon ECS Yönetilen Bulut Sunucuları'nda ve Amazon EC2'deki Amazon ECS'de desteklenir. Amazon ECS Yönetilen Bulut Sunucuları'nda, Amazon ECS her bulut sunucusunda paylaşımı sağlayan MPS denetim arka plan programını da izler. Arka plan programı durursa veya sağlıksız hale gelirse, Amazon ECS bulut sunucusunu otomatik olarak değiştirir ve görevlerinizi sağlıklı kapasiteye taşır, böylece GPU iş yükleriniz manuel müdahale olmadan çalışmaya devam eder.
Başlamak için AWS Yönetim Konsolu, AWS CLI, AWS SDK'leri, AWS CloudFormation veya kod olarak diğer altyapı araçlarını kullanarak NVIDIA GPU bulut sunucularına sahip bir kapasite sağlayıcısı oluşturun, görev tanımınızın container tanımında GPU paylaşım stratejisini ve belleğini ayarlayın ve söz konusu kapasite sağlayıcısında bir hizmet oluşturun. Bu özellik tüm AWS ticari ve AWS GovCloud (ABD) Bölgelerinde kullanılabilir. Daha fazla bilgi edinmek için Amazon ECS GPU paylaşım belgelerini ziyaret edin.