L'inferenza di Amazon SageMaker AI supporta ora il partizionamento della GPU per gli endpoint in tempo reale
L'inferenza di Amazon SageMaker AI supporta ora il partizionamento della GPU, consentendoti di eseguire più modelli su un'unica GPU anziché dedicare un intero acceleratore a ciascuno di essi. Utilizzando la tecnologia Multi-Instance GPU (MIG) di NVIDIA, SageMaker AI suddivide una GPU in un massimo di sette partizioni isolate, ciascuna dotata di memoria e risorse di calcolo dedicate. I clienti che gestiscono modelli di piccole e medie dimensioni, come varianti con fine-tuning, modelli di embedding, reranker e classificatori, dovevano in precedenza assegnare un intero acceleratore a ciascun modello, con la conseguenza che un'istanza non poteva ospitare un numero di modelli superiore a quello delle GPU disponibili, pagando per la capacità della GPU che tali modelli non avrebbero mai utilizzato.
Con il partizionamento della GPU, puoi scegliere come suddividere le GPU associate al tuo endpoint e posizionare ciascun modello su una partizione con dimensioni adeguate alle relative esigenze. In questo modo, più modelli condividono un unico acceleratore grazie all'isolamento garantito a livello hardware, impedendo a un modello ad alto traffico di sottrarre memoria o throughput ai modelli adiacenti. Il corretto dimensionamento di un acceleratore in base al carico di lavoro consente inoltre di accedere a generazioni di istanze più recenti che, in caso contrario, offrirebbero una capacità superiore a quella necessaria per un singolo modello. È possibile configurare il partizionamento della GPU durante la creazione di un endpoint che ospita componenti di inferenza e continuare a richiamare ciascun modello in base al relativo nome, mantenendo inalterato il codice dell'applicazione.
Il partizionamento della GPU è disponibile per le istanze P4d, P5, G7 e G7e nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Tokyo), Europa (Francoforte) ed Europa (Irlanda). Per ulteriori informazioni, visita la pagina della distribuzione di Amazon SageMaker AI e consulta la Guida per lo sviluppatore di Amazon SageMaker AI.