Publicado en: Mar 23, 2021
El campo del procesamiento de lenguaje natural, que impulsa casos de uso como los bots para chat, el análisis de opiniones, la respuesta a preguntas y la búsqueda, ha experimentado un resurgimiento en los últimos años. En particular, la arquitectura de aprendizaje profundo de Transformer ha estado detrás de algunos de los modelos de vanguardia más grandes hasta la fecha, como T5 y GPT-3. Sin embargo, dado el tamaño, el entrenamiento y la optimización de los modelos de PLN se requieren tiempo, recursos y habilidad. Desde 2016, Hugging Face ha liderado la comunidad de PLN gracias a su biblioteca de transformers, que cuenta con más de 7.000 modelos preentrenados en 164 idiomas, lo que facilita los comienzos para los desarrolladores. Con más de 41 000 estrellas de GitHub y más de 25 millones de descargas, la biblioteca de transformers se ha convertido en el lugar de facto para que desarrolladores y científicos de datos encuentren modelos de PLN.
El Deep Learning Container (DLC, Contenedor de aprendizaje profundo ) de AWS Hugging Face y el estimador de Hugging Face en el SDK de Python de Amazon SageMaker amplían aún más la facilidad con la que los desarrolladores y los científicos de datos pueden comenzar con la PLN en AWS. El DLC de Hugging Face contiene las bibliotecas de transformers, conjuntos de datos y tokenizadores de Hugging Face optimizados para que SageMaker aproveche las bibliotecas de entrenamiento distribuido de SageMaker, y el estimador de Hugging Face permite a los desarrolladores y científicos de datos ejecutar scripts de PLN como trabajos de entrenamiento de SageMaker con un código adicional mínimo. Los desarrolladores de Hugging Face ahora pueden desarrollar más fácilmente en Amazon SageMaker y heredar ventajas como la rentabilidad, la escalabilidad, la preparación para la producción y los altos estándares de seguridad.
El DLC de Hugging Face y el SDK de SageMaker están disponibles en todas las regiones en las que Amazon SageMaker está disponible y no tiene costo adicional. Lea el blog de lanzamiento o la documentación para obtener más información, o acceda a los blocs de notas para probar las nuevas integraciones.