Publicado: Jul 12, 2021
Anunciamos os AWS Deep Learning Containers (DLCs) com SDKs integrados para inferência que permitem que os clientes implantem facilmente modelos Hugging Face no Amazon SageMaker em grande escala. Esse era o requisito número um dos clientes que têm aproveitado os AWS DLCs Hugging Face para treinamento (DLCs de treinamento Hugging Face) lançados em março de 2021.
A partir de hoje, o Amazon SageMaker oferece suporte à implantação de modelos Hugging Face usando o Hugging Face AWS Deep Learning Containers para inferência (DLCs de inferência Hugging Face), além dos DLCs de treinamento Hugging Face. O DLC de inferência Hugging Face inclui suporte às frameworks TensorFlow e PyTorch, oferecendo aos nossos clientes uma opção. Os DLCs de inferência Hugging Face simplificam a hospedagem de modelos, permitindo que os clientes implantem em grande escala em apenas alguns minutos. Isso também permite que os clientes simplifiquem suas operações com Pipelines do SageMaker. Por último, esta versão permite que os clientes implantem modelos Hugging Face diretamente do Hugging Face Model Hub ou implantem um modelo que eles previamente refinaram com nossos DLCs de treinamento Hugging Face.
Desde 2016, o Hugging Face tem sido líder na comunidade de PNL com sua biblioteca de transformadores e o Model Hub, que apresenta mais de 10.000 modelos pré-treinados que facilita o trabalho inicial dos desenvolvedores. Com mais de 41 mil estrelas do GitHub e mais de 25 milhões de downloads, a biblioteca de transformações do Hugging Face tornou-se o padrão de fato para desenvolvedores que criam modelos de PNL. O DLC de inferência Hugging Face no Amazon SageMaker Python SDK facilita para os desenvolvedores a implantação desses modelos na AWS. O DLC de inferência Hugging Face contém a biblioteca de transformadores Hugging Face, a framework de aprendizado profundo (DL) e um servidor de modelo DL otimizado para o SageMaker. Os desenvolvedores podem implantar seus modelos Hugging Face pré-treinados na AWS com o mínimo de código adicional em comparação com a hospedagem de um contêiner personalizado. Os desenvolvedores que trabalham com modelos Hugging Face agora podem desenvolver com mais facilidade no Amazon SageMaker, além de se beneficiarem com a economia, a escalabilidade, a prontidão para produção e o alto nível de segurança que o SageMaker oferece para a hospedagem de modelos.
O DLC de inferência Hugging Face está disponível em todas as regiões em que o Amazon SageMaker está disponível e não tem custo adicional. Leia o blog e a documentação para saber mais ou acesse os blocos de anotações de exemplo para experimentar as novas integrações.