Inserito il: Apr 21, 2020
A partire da oggi, i clienti PyTorch possono utilizzare TorchServe, un nuovo framework di model serving per PyTorch, per distribuire modelli addestrati su larga scala senza dover scrivere codici personalizzati.
PyTorch è un framework di machine learning open source, originariamente creato da Facebook, che è diventato molto famoso tra i ricercatori e i data scientist in materia di ML grazie alla sua facilità d'uso e all'interfaccia "Pythonica". Tuttavia, la distribuzione e la gestione dei modelli in produzione è spesso la parte più difficile del processo di machine learning che richiede ai clienti la scrittura di API di previsione e il loro dimensionamento.
TorchServe facilita la distribuzione dei modelli PyTorch su larga scala negli ambienti di produzione. Offre un servizio leggero con bassa latenza per poter distribuire i modelli per inferenza ad alte prestazioni. Fornisce gestori di default per le applicazioni più comuni come il rilevamento di oggetti e la classificazione del testo, quindi non dovrai scrivere codici personalizzati per distribuire i tuoi modelli. Con le incredibili funzionalità di TorchServe, tra cui il servizio multi-modello, le versioni multiple del modello per il test A/B, i parametri di monitoraggio e gli endpoint RESTful per l'integrazione delle applicazioni, puoi portare i tuoi modelli dalla ricerca alla produzione in pochissimo tempo. TorchServe supporta gli ambienti machine learning, tra cui Amazon SageMaker, Kubernetes, Amazon EKS e Amazon EC2.
TorchServe è creato e gestito da AWS in collaborazione con Facebook ed è disponibile come parte del progetto open source PyTorch. Per iniziare a usarlo, consulta il repository GitHub di TorchServe e la documentazione.