Amazon ECS supporta ora la condivisione delle GPU con NVIDIA Multi-Process Service (MPS)
Amazon Elastic Container Service (Amazon ECS) supporta ora la condivisione delle GPU con NVIDIA Multi-Process Service (MPS), consentendoti di eseguire più task Amazon ECS contemporaneamente su una singola GPU NVIDIA. La condivisione delle GPU ti aiuta ad aumentare l'utilizzo della GPU e a ridurre i costi di infrastruttura per i carichi di lavoro che impiegano solo una parte della capacità di una GPU, come l'inferenza del modello di piccole dimensioni, le simulazioni AV/ADAS, la generazione di embedding e il serving multimodello.
Con la condivisione delle GPU, puoi consolidare un numero maggiore di carichi di lavoro su ciascuna istanza GPU senza dover modificare il codice dell'applicazione. Definisci la memoria GPU necessaria per ciascun container e puoi opzionalmente impostare una quota massima di calcolo GPU; Amazon ECS colloca quindi i task sulle GPU dotate di capacità disponibile man mano che i tuoi servizi scalano e vengono distribuiti. La condivisione delle GPU è supportata sulle istanze gestite di Amazon ECS e su Amazon ECS in Amazon EC2. Sulle istanze gestite di Amazon ECS, Amazon ECS monitora anche il daemon di controllo MPS che abilita la condivisione su ciascuna istanza. Se il daemon si arresta o diventa non integro, Amazon ECS sostituisce automaticamente l'istanza e sposta i task su una capacità integra, in modo che i carichi di lavoro della GPU continuino a funzionare senza interventi manuali.
Per iniziare, utilizza la Console di gestione AWS, l'interfaccia a riga di comando (CLI) AWS, gli SDK AWS, AWS CloudFormation o altri strumenti infrastructure-as-code per creare un provider di capacità con istanze GPU NVIDIA, imposta la strategia di condivisione della GPU e la memoria nella definizione del container della tua definizione del task, quindi crea un servizio su tale provider di capacità. Questa funzionalità è disponibile in tutte le regioni AWS commerciali e AWS GovCloud (Stati Uniti). Per ulteriori informazioni, consulta la documentazione sulla condivisione delle GPU di Amazon ECS.