Amazon ECS artık Amazon EC2 G6f bulut sunucularıyla kesirli GPU zamanlamasını destekliyor
Amazon Elastic Container Service (Amazon ECS) artık Amazon EC2 G6f bulut sunucuları ile kesirli GPU zamanlamasını destekleyerek iş yüklerinizi 3 GB GPU belleğe sahip NVIDIA L4 Tensor Core GPU'sunun sekizde biri kadar küçük GPU bölümlerinde çalıştırmanıza olanak tanır. Kesirli GPU'lar, küçük model yapay zeka çıkarımı, model denemeleri, grafik oluşturma ve tam GPU gerektirmeyen diğer iş yükleri için container'larınızı doğru boyutlandırma esnekliği sağlar ve tam bir GPU bulut sunucusu tedarik etmeye kıyasla altyapı maliyetlerini düşürmeye yardımcı olur.
Amazon ECS görev tanımınızın container tanımında GPU = 0.125, GPU = 0.25 veya GPU = 0.5 ayarlarını kullanarak kesirli bir GPU isteyebilirsiniz. Amazon ECS daha sonra görevi isteği karşılayan bir G6f bulut sunucusuna yerleştirir. Kesirli GPU yapılandırması hem Amazon ECS Yönetilen Bulut Sunucuları'nda hem de EC2'deki Amazon ECS'de desteklenir. ECS Yönetilen Bulut Sunucuları ile, altyapı işlemleriyle ilgilenmek yerine GPU iş yüklerinize odaklanabilmeniz için ECS'nin otomatik olarak bulut sunucusu tedarikini, ölçeklendirmesini, düzeltme eki uygulamasını ve yaşam döngüsü yönetimini yönettiği tam yönetimli bir deneyime sahip olursunuz. ECS Yönetilen Bulut Sunucuları, hızlandırılmış iş yükleri için özel olarak oluşturulmuş özellikler içerir: Amazon CloudWatch Container Öngörüleri aracılığıyla GPU ölçümleri ve GPU donanım arızalarını algılayan ve iş yükü kesintisini en aza indirmek için kötü durumdaki bulut sunucularının yerini alan otomatik durum izleme.
Bu özellik, Amazon EC2 G6f bulut sunucularının kullanılabildiği tüm AWS Bölgelerinde kullanılabilir. Başlamak için AWS Yönetim Konsolu, AWS CLI, AWS SDK'leri, AWS CloudFormation veya diğer kod olarak altyapı araçlarını kullanarak G6f bulut sunucularına sahip bir kapasite sağlayıcısını yapılandırın ve ECS görev tanımınızın container tanımında kesirli bir GPU değeri belirtin. Daha fazla bilgi edinmek için Amazon ECS kesirli GPU belgelerini ve Amazon EC2 G6 bulut sunucusu sayfasını ziyaret edin.