Publicado en: Jul 12, 2021
Hoy nos complace anunciar AWS Deep Learning Containers (DLC) con SDK integrados para la inferencia, con lo que los clientes pueden implementar fácilmente modelos Hugging Face en Amazon SageMaker a escala. Esta fue la exigencia número uno de los clientes que han utilizado los DLC de AWS de Hugging Face para la formación (DLC de formación de Hugging Face) que se lanzaron en marzo de 2021.
A partir de hoy, Amazon SageMaker admite la implementación de modelos Hugging Face mediante AWS Deep Learning Containers para inferencia de Hugging Face (DLC para inferencia de Hugging Face), además de los DLC de entrenamiento de Hugging Face. El DLC para inferencia de Hugging Face admite tanto el marco de TensorFlow como el de PyTorch, con lo que nuestros clientes pueden elegir. Los DLC para inferencia de Hugging Face facilitan el alojamiento de modelos, lo que permite a los clientes implementar a escala en tan solo unos minutos. Esto también permite a los clientes optimizar las operaciones con las canalizaciones de SageMaker. Por último, esta versión permite a los clientes implementar los modelos de Hugging Face directamente desde el centro de modelos de Hugging Face, o implementar un modelo que hayan perfeccionado previamente con nuestros DLC de entrenamiento de Hugging Face.
Desde 2016, Hugging Face ha sido líder en la comunidad de procesamiento de lenguaje natural (PLN) con su biblioteca de transformadores y centro de modelos, que cuenta con más de 10 000 modelos previamente entrenados que hacen que los desarrolladores puedan empezar a trabajar más fácilmente. Con más de 41 000 estrellas de GitHub y más de 25 millones de descargas, la biblioteca de transformadores de Hugging Face se ha convertido en la opción más utilizada por los desarrolladores que crean modelos de PLN. El DLC de inferencia de Hugging Face en el SDK de Python de Amazon SageMaker facilita a los desarrolladores la implementación de estos modelos en AWS. El DLC de inferencia de Hugging Face contiene la biblioteca de transformadores de Hugging Face, el marco de aprendizaje profundo (DL) y un servidor de modelos de DL optimizado para SageMaker. Los desarrolladores pueden implementar los modelos Hugging Face previamente entrenados en AWS con un mínimo de código adicional en comparación con el alojamiento de un contenedor personalizado. Los desarrolladores que trabajan con los modelos de Hugging Face ahora pueden desarrollar más fácilmente en Amazon SageMaker, así como beneficiarse de la rentabilidad, la escalabilidad, la preparación para la producción y el alto nivel de seguridad que ofrece SageMaker para el alojamiento de modelos.
El DLC de inferencia de Hugging Face está disponible en todas las regiones en las que Amazon SageMaker está disponible y no tiene costo adicional. Lea el blog y la documentación para obtener más información, u obtenga acceso a los blocs de notas de muestra para probar las nuevas integraciones.