Amazon SageMaker HyperPod supporta ora l'acquisizione dei dati per i carichi di lavoro di inferenza
Amazon SageMaker HyperPod supporta ora l'acquisizione dei dati per i carichi di lavoro di inferenza, una nuova funzionalità che registra i payload delle richieste e delle risposte di inferenza dagli endpoint di produzione su Amazon S3. I clienti che distribuiscono modelli di IA generativa su HyperPod necessitano di visibilità sugli input e sugli output del modello per rilevare la deriva, risolvere i problemi di produzione, creare set di dati di valutazione e migliorare continuamente i modelli distribuiti, ma in precedenza dovevano creare pipeline di logging personalizzate al di fuori del servizio per ottenere questa visibilità.
Grazie all'acquisizione dei dati, i clienti possono addestrare modelli bozza per la decodifica speculativa dal traffico reale in produzione per ottenere prestazioni migliori rispetto ai modelli bozza generici, creare pipeline di valutazione dai dati di produzione, alimentare i processi di fine-tuning con input reali provenienti dalla produzione e mantenere gli audit trail per la conformità. I clienti scelgono dove acquisire il traffico di inferenza su ciascun endpoint: presso l'endpoint SageMaker, il bilanciatore del carico o il pod del modello. I dati acquisiti vengono recapitati in modo asincrono nel proprio bucket Amazon S3 senza bloccare l'inferenza e supportano il campionamento configurabile e la crittografia AWS KMS gestita dal cliente. Puoi abilitare l'acquisizione dei dati durante la distribuzione dei modelli tramite HyperPod Inference Operator e utilizzare i dati acquisiti con Amazon SageMaker Model Monitor e i tuoi flussi di lavoro esistenti di valutazione, fine-tuning e addestramento dei modelli bozza.
Questa funzionalità è disponibile per i cluster SageMaker HyperPod che utilizzano l'orchestratore EKS in tutte le regioni AWS in cui Amazon SageMaker HyperPod è supportato. Per ulteriori informazioni, consulta Acquisizione dei dati per l'inferenza su HyperPod.