Aproveite o processamento de linguagem natural de última geração com a Hugging Face e o Amazon SageMaker

Estamos anunciando hoje novas integrações da Hugging Face com o Amazon SageMaker para ajudar os cientistas de dados a desenvolver, treinar e ajustar modelos de linguagem natural (NLP) de última geração com mais rapidez e facilidade.

O campo do processamento de linguagem natural, que promove casos de uso como chatbots, análise de sentimentos, resposta a perguntas e pesquisas, passou por um renascimento nos últimos anos. Em particular, a arquitetura de aprendizado profundo Transformer tem sido responsável por alguns dos maiores modelos de última geração até o momento, como o T5 e o GPT-3. No entanto, dado o seu tamanho, treinar e otimizar modelos de NLP requer tempo, recursos e habilidade. Desde 2016, a Hugging Face é líder na comunidade de NLP graças à sua biblioteca de transformadores, que conta com mais de 7.000 modelos pré-treinados em 164 idiomas, facilitando as operações inciais dos desenvolvedores. Com mais de 41.000 estrelas no GitHub e mais de 25 milhões de downloads, a biblioteca de transformadores tornou-se o lugar de fato para desenvolvedores e cientistas de dados encontrarem modelos de NLP.  

O Hugging Face AWS Deep Learning Container (DLC) e o estimador Hugging Face no SDK para Python do Amazon SageMaker ampliam ainda mais a facilidade com que os desenvolvedores e cientistas de dados podem começar a usar a NLP na AWS. O Hugging Face DLC contém bibliotecas de transformadores, conjuntos de dados e tokenizadores da Hugging Face otimizadas para SageMaker com o objetivo de aproveitar as bibliotecas de treinamento distribuídas do SageMaker, enquanto o estimador Hugging Face permite que desenvolvedores e cientistas de dados executem scripts de NLP como trabalhos de treinamento do SageMaker com código adicional mínimo. Os desenvolvedores do Hugging Face agora podem desenvolver mais facilmente no Amazon SageMaker e herdar com seus benefícios, incluindo economia de custos, escalabilidade, prontidão para produção e alta segurança.  

O Hugging Face DLC e o SDK do SageMaker estão disponíveis em todas as regiões nas quais o Amazon SageMaker está disponível e não têm custos adicionais. Leia o blog de lançamento ou a documentação para saber mais ou acesse os blocos de anotações de amostra para experimentar as novas integrações.