AWS para software e tecnologia

CASO DO CLIENTE

Como a Hugging Face está ajudando as empresas a adotar modelos abertos

pela equipe editorial da AWS | 21 de fevereiro de 2025 | Thought Leadership

Visão geral

Os modelos de base (FMs) de código aberto aceleraram em um ritmo vertiginoso no último ano e meio, alcançando rapidamente seus modelos fechados equivalentes. Os engenheiros agora têm mais de um milhão de modelos disponíveis gratuitamente na ponta dos dedos, muitos dos quais funcionam no mesmo nível dos melhores modelos fechados disponíveis. Antes o domínio de indivíduos, o uso de modelos abertos está se expandindo para empresas, incluindo empresas como as da Fortune 500.

Essa biblioteca pública de modelos é valorizada pela comunidade, oferecendo a capacidade de controlar custos, usar conjuntos de dados transparentes e acessar modelos especializados. Mas, embora qualquer pessoa possa usar modelos de código aberto livremente, os desafios da entrada em produção foram um contratempo. Para um engenheiro experiente de machine learning (ML), o processo exige pelo menos uma semana de trabalho árduo, envolvendo várias decisões complexas sobre unidades de processamento gráfico (GPUs), back-end e implantação.

Com a missão de tornar a IA disponível para todos, a plataforma líder de código aberto Hugging Face está derrubando essas barreiras. Como diz Jeff Boudier, chefe de produto da Hugging Face, "Nosso objetivo é permitir que todas as empresas do mundo criem sua própria IA". Tendo lançado recentemente o Hugging Face Generative AI Services (também conhecido carinhosamente como HUGS), a empresa está enfrentando a tarefa demorada e complicada de implantar um modelo aberto e completo de produção.

Ilustração da Hugging Face

Modelos abertos e prontos para usar

A grande visão da Hugging Face quando começou era "permitir que qualquer pessoa tivesse uma conversa divertida com um modelo de machine learning", como diz Boudier. Embora essa possa ter sido uma ambição ousada em 2016, a empresa está materializando essa visão hoje ao tornar a implantação de tecnologias de ponta acessível tanto para indivíduos quanto para empresas.

Anteriormente, as empresas criavam provas de conceito (POCs) usando modelos fechados não porque era a melhor escolha, mas porque era o caminho mais rápido e fácil. O desenvolvimento de uma aplicação de IA usando modelos abertos normalmente envolve muitas tentativas e erros, pois os engenheiros precisam descobrir tudo, desde a configuração até a compilação. Para atender aos requisitos de performance e conformidade, eles devem ajustar bibliotecas, versões e parâmetros.

Com o HUGS, as organizações podem contornar as dores de cabeça de desenvolver um aplicativo de IA com modelos abertos. A solução plug and play está mudando o jogo para quem quer dominar as vantagens da IA generativa. Nenhuma configuração é necessária, o que significa que eles podem simplesmente escolher um modelo aberto e executá-lo. O que costumava levar semanas agora leva apenas alguns minutos, pois os modelos são automaticamente otimizados para a GPU ou o acelerador de IA.

Alta performance sem cortes no orçamento

Ao longo da jornada da Hugging Face rumo à democratização da IA, sua colaboração com a AWS a ajudou a crescer de uma pequena startup para uma pioneira no mercado com modelos de IA usados por milhões de pessoas todos os meses. À medida que esses modelos continuam avançando e as empresas buscam cada vez mais seus benefícios, o HUGS oferece acesso a uma coleção escolhida a dedo e comparada manualmente dos mais recentes grandes modelos de linguagem (LLMs) abertos e com maior performance.

A colaboração mais recente da Hugging Face com a Amazon Web Services (AWS) significou que as empresas não precisam mais fazer concessões entre custo, performance e velocidade de implantação. Agora que a solução está disponível nos chips de IA AWS Inferentia2, os desenvolvedores podem otimizar ainda mais a performance dos modelos para menor latência e maior throughput, tudo isso enquanto economizam até 40% em despesas de inferência. E essa não é a única maneira pela qual eles estão tornando as aplicações de IA generativa mais acessíveis para empresas de todos os tamanhos. Ao trabalhar em conjunto na biblioteca Optimum Neuron de código aberto, as empresas obtêm os benefícios do HUGS, mantendo as despesas gerais mínimas.

Potencialização do impacto comercial

Da criação de assistentes virtuais à criação de conteúdo cativante em segundos, os modelos da Hugging Face abrangem uma grande variedade de casos de uso. Embora esses modelos apresentem uma boa performance em relação aos benchmarks acadêmicos, Boudier diz que um valor ainda maior pode ser obtido com a personalização: "O que importa para seu caso de uso é diferente. Com o ajuste fino e o aprendizado de reforço, é possível aprimorar os modelos abertos e torná-los muito melhores do que os modelos fechados”.

Usando o AWS Inferentia2 no Amazon SageMaker, os modelos da Hugging Face podem ser personalizados para melhorar a própria qualidade dos modelos para tarefas específicas e permitir workloads de produção em grande escala. A solução também facilita para os desenvolvedores causarem um impacto imediato ao aprimorar modelos usando uma variedade de técnicas, incluindo engenharia de prompts, geração aumentada via recuperação (RAG) e muito mais.

Grandes empresas como a Thomson Reuters já estão escalando modelos abertos na AWS de forma segura e eficaz. Agora, com o HUGS e o AWS Inferentia2, eles têm o hardware otimizado para criar aplicações de IA generativa com confiança e rapidez — e, por sua vez, colher valor mais rapidamente. Disponíveis no AWS Marketplace e com integração perfeita à infraestrutura da AWS, os desenvolvedores podem facilmente encontrar, assinar e implantar modelos abertos de acordo com seus termos.

À medida que a Hugging Face avança para tornar os modelos abertos viáveis para todos, ela está expandindo os LLMs disponíveis via HUGS para manter as aplicações dos clientes na vanguarda. Ao oferecer mais opções de código aberto e simplificar o uso, as empresas agora têm a liberdade de escolher entre modelos abertos e fechados.