Publicado: Apr 21, 2020
A partir de hoje, os clientes PyTorch podem usar TorchServe, uma nova estrutura de trabalho ao modelo para o PyTorch, para implantar modelos treinados em escala sem precisar escrever código personalizado.
O PyTorch é uma estrutura de trabalho de machine learning de código aberto, originalmente criada pelo Facebook, que se tornou popular entre os pesquisadores de ML e cientistas de dados por sua facilidade de uso e interface "Pythonic". No entanto, implantar e gerenciar modelos na produção é geralmente a parte mais difícil do processo de machine learning, exigindo que os clientes gravem APIs de previsão e as escalem.
O TorchServe facilita a implantação de modelos PyTorch em escala nos ambientes de produção. Ele fornece veiculação leve com baixa latência, para que você possa implantar seus modelos para obter inferência de alto desempenho. Ele fornece manipuladores padrão para os aplicativos mais comuns, como detecção de objetos e classificação de texto, para que você não precise escrever um código personalizado para implantar seus modelos. Com os poderosos recursos do TorchServe, incluindo veiculação de vários modelos, versão de modelo para testes A/B, métricas para monitoramento e endpoints RESTful para integração de aplicativos, você pode levar seus modelos da pesquisa para a produção rapidamente. O TorchServe suporta qualquer ambiente de aprendizado de máquina, incluindo Amazon SageMaker, Kubernetes, Amazon EKS e Amazon EC2.
O TorchServe é construído e mantido pela AWS em colaboração com o Facebook e está disponível como parte do projeto de código aberto PyTorch. Para começar, consulte o repositório TorchServe GitHub e a documentação.