Amazon ECS ora supporta la pianificazione GPU frazionaria con le istanze Amazon EC2 G6f
Amazon Elastic Container Service (Amazon ECS) supporta ora la pianificazione GPU frazionaria con le istanze Amazon EC2 G6f, consentendoti di eseguire i tuoi carichi di lavoro su partizioni GPU di appena un ottavo di una GPU NVIDIA L4 Tensor Core, con 3 GB di memoria GPU. Le GPU frazionarie ti offrono la flessibilità di dimensionare correttamente i tuoi container per l'inferenza IA su modelli di piccole dimensioni, la sperimentazione di modelli, il rendering grafico e altri carichi di lavoro che non richiedono una GPU completa, contribuendo a ridurre i costi dell'infrastruttura rispetto al provisioning di un'istanza GPU completa.
Puoi richiedere una GPU frazionaria impostando GPU=0.125, GPU=0.25 o GPU=0.5 nella definizione del container, all'interno della definizione di attività Amazon ECS. Amazon ECS colloca quindi l'attività su un'istanza G6f che soddisfa la richiesta. La configurazione GPU frazionaria è supportata sia sulle istanze Amazon ECS gestite sia su Amazon ECS su EC2. Con le istanze ECS gestite, ottieni un'esperienza completamente gestita in cui ECS si occupa automaticamente del provisioning delle istanze, dello scaling, del patching e della gestione del ciclo di vita, così puoi concentrarti sui tuoi carichi di lavoro GPU anziché sulle operazioni infrastrutturali. Le istanze ECS gestite includono inoltre funzionalità create appositamente per i carichi di lavoro accelerati, come le metriche GPU tramite Amazon CloudWatch Container Insights e il monitoraggio automatico dello stato di integrità che rileva i guasti hardware della GPU e sostituisce le istanze non integre per ridurre al minimo le interruzioni dei carichi di lavoro.
Questa funzionalità è disponibile in tutte le regioni AWS in cui sono disponibili le istanze Amazon EC2 G6f. Per iniziare, utilizza la Console di gestione AWS, l'AWS CLI, gli SDK AWS, AWS CloudFormation o altri strumenti infrastructure-as-code per configurare un provider di capacità con istanze G6f e specificare un valore GPU frazionario nella definizione del container, all'interno della definizione di attività ECS. Per ulteriori informazioni, consulta la documentazione di Amazon ECS sulla GPU frazionaria e la pagina delle istanze Amazon EC2 G6.