Test shadow di Amazon SageMaker
Convalida le prestazioni dei nuovi modelli di machine learning rispetto ai modelli di produzione per evitare costose interruzioni
Individua potenziali errori di configurazione prima che abbiano un impatto sugli utenti finali confrontando i nuovi modelli di machine learning con i modelli di produzione.
Migliora le prestazioni di inferenza valutando le modifiche al modello, gli aggiornamenti dei container e le nuove istanze con traffico di produzione.
Riduci le settimane di costruzione di un'infrastruttura di test e rilascia i modelli in produzione più velocemente.
Come funziona
SageMaker facilita l'esecuzione di shadow test per valutare un nuovo modello di machine learning prima del rilascio in produzione testandone le prestazioni rispetto al modello attualmente implementato. I test shadow possono aiutarti a rilevare potenziali errori di configurazione e problemi di prestazioni prima che abbiano un impatto sugli utenti finali.
Caratteristiche principali
Test completamente gestito
Con i test shadow di SageMaker, non è necessario investire nella creazione della propria infrastruttura di test, quindi è possibile concentrarsi sullo sviluppo del modello. Basta selezionare il modello di produzione su cui vuoi eseguire il test e SageMaker distribuirà automaticamente il nuovo modello in un ambiente di test. Quindi instrada una copia delle richieste di inferenza ricevute dal modello di produzione al nuovo modello in tempo reale e raccoglie i parametri delle prestazioni come latenza e throughput.
Pannelli di controllo di confronto delle prestazioni in tempo reale
SageMaker crea un pannello di controllo live che mostra i parametri delle prestazioni come la latenza e il tasso di errore del nuovo modello e del modello di produzione in un confronto affiancato. Una volta esaminati i risultati del test e convalidato il modello, sarà possibile promuoverlo alla produzione.
Controllo del traffico particolareggiato
Quando si eseguono i test shadow in SageMaker, è possibile configurare la percentuale di richieste di inferenza inviate ai modelli di test. Questo controllo sul traffico di input consente di iniziare in piccolo e aumentare i test solo dopo aver acquisito fiducia nelle prestazioni del modello.
Clienti
"Le nuove funzionalità di test di Amazon SageMaker ci hanno permesso di testare in modo più rigoroso e proattivo i modelli ML nella produzione ed evitare l'impatto negativo sui clienti ed eventuali potenziali interruzioni causate di un errore nei modelli distribuiti. Ciò è fondamentale, poiché i nostri clienti si affidano a noi per fornire tempestivamente informazioni utili basate su dati sulla posizione in tempo reale che cambiano ogni minuto".
Giovanni Lanfranchi, Chief Product and Technology Officer, HERE Technologies