Personalizza le versioni di software e driver per l'implementazione del modello di Amazon SageMaker
Ora, quando implementi i modelli su SageMaker, puoi scegliere le versioni del software e dei driver utilizzate dalle istanze in modo che si adattano al meglio alle tue esigenze. Amazon SageMaker semplifica l'implementazione di modelli di ML, inclusi i modelli di fondazione (FM) per fare richieste di inferenza al miglior rapporto prezzo/prestazioni per qualsiasi caso d'uso.
In precedenza i clienti dovevano utilizzare le versioni di software e driver preimpostate da SageMaker sulle istanze gestite dietro un endpoint. Ora i clienti possono specificare il parametro "InferenceAmiVersion" durante la configurazione degli endpoint selezionando la combinazione di versioni di software e driver (ad esempio driver Nvidia e versione CUDA) che meglio soddisfa i loro requisiti. In questo modo è possibile personalizzare l'ambiente di hosting per soddisfare le prestazioni, la compatibilità, la scalabilità e i requisiti operativi delle applicazioni ML. Utilizzando questo parametro, puoi anche effettuare il downgrade e l'upgrade delle versioni dei driver per i tuoi endpoint in base a quanto pianificato.
Questa funzionalità è disponibile in tutte le regioni che offrono SageMaker. Maggiori informazioni sull'implementazione del modello su SageMaker sono disponibili qui. Per saperne di più su questa funzionalità consulta la nostra documentazione.