Clientes do Amazon SageMaker HyperPod

Na Intercom, estamos constantemente treinando novos modelos para melhorar o Fin e estamos muito animados em integrar o treinamento sem pontos de verificação em nossos pipelines. Isso eliminará completamente a necessidade de recuperação manual do ponto de verificação. Combinado com o treinamento elástico, isso nos permitirá oferecer melhorias ao Fin mais rapidamente e com custos de infraestrutura mais baixos.

Com o SageMaker HyperPod, a Bayer treinou e utilizou novos FMs em apenas alguns meses. Sua equipe científica agora pode processar grandes quantidades de dados de imagens biomédicas, treinar modelos sofisticados de machine learning (ML) e identificar candidatos promissores a medicamentos com base em assinaturas fenotípicas. À medida que a Bayer continua inovando, seu trabalho com a AWS ajuda a preparar o caminho para uma P&D farmacêutica mais rápida e eficiente.  

A Sony Honda Mobility está usando o SageMaker HyperPod para treinamento de modelos em seu pipeline de MLOps para aprimorar o AFEELA Intelligent Drive. “Os recursos de observabilidade prontos para uso do HyperPod nos fornecem um conjunto abrangente de métricas em várias dimensões (cluster, nó, tarefa etc.). Esperamos obter informações mais profundas e pré-configuradas de integridade e desempenho, com agregação em nível de tarefa.”

Motoi Kataoka, engenheiro de MLOps na Divisão de Desenvolvimento de Serviços de Rede da Sony Honda Mobility

A Thomson Reuters está na vanguarda do desenvolvimento da IA há mais de 30 anos e estamos comprometidos em fornecer soluções significativas que ajudem nossos clientes a obter resultados mais rapidamente, com melhor acesso a informações confiáveis. Para acelerar nossa inovação em IA generativa, além de fazer parcerias com fornecedores de LLM, também estamos explorando modelos personalizados de treinamento de maneira mais eficiente com nosso conteúdo exclusivo e proprietário e nossa experiência humana. As bibliotecas de treinamento distribuídas do SageMaker HyperPod nos ajudam a melhorar a performance do treinamento de modelos em grande escala. E seu atributo de resiliência economiza tempo à medida que monitoramos e gerenciamos a infraestrutura. Treinar nossos modelos de base no SageMaker HyperPod aumentará nossa velocidade de comercialização e nos ajudará a fornecer soluções de qualidade para nossos clientes em ritmo acelerado.

Joel Hron, chefe de IA e laboratórios da Thomson Reuters, e John Duprey, engenheiro ilustre, Thomson Reuters Labs

Como empresa líder em IA generativa de código aberto, nosso objetivo é maximizar a acessibilidade da IA moderna. Estamos construindo modelos básicos com dezenas de bilhões de parâmetros, que exigem uma infraestrutura capaz de escalar a performance otimizada dos treinamentos. Com a infraestrutura gerenciada e as bibliotecas de otimização do SageMaker HyperPod, somos capazes de reduzir o tempo e os custos de treinamento em mais de 50%. Isso torna nosso treinamento de modelos mais resiliente e eficiente para criar modelos de última geração com mais rapidez.

Emad Mostaque, fundador e CEO da Stability AI

Todo o processo foi simplificado. Usando o SageMaker HyperPod, podemos aproveitar os recursos de resiliência de cluster que identificam e recuperam automaticamente as tarefas de treinamento do último ponto de verificação salvo no caso de uma falha de hardware. Executamos workloads muito diversas, desde aplicações, inferência e treinamento, com o Kubernetes como fio condutor. Para nós, o Amazon EKS com o SageMaker HyperPod simplesmente funciona: os nós simplesmente entram em nosso cluster.

Nathan Wilce, líder de infraestrutura/dados, Recursal

Hippocratic AI, empresa de IA que desenvolve o primeiro grande modelo de linguagem (LLM) focado em segurança para a área da saúde. Para treinar seu LLM primário e os modelos de supervisor, a Hippocratic AI exigia recursos computacionais poderosos, que eram muito procurados e difíceis de obter. Os planos de treinamento flexíveis do Amazon SageMaker HyperPod facilitaram o acesso às instâncias P5 do Amazon Elastic Compute Cloud (Amazon EC2). A Hippocratic AI também está aproveitando os serviços da AWS, como o Grafana, para rastrear métricas importantes de utilização da GPU. Com o uso de instâncias P5 do Amazon EC2, a Hippocratic AI aumentou a velocidade do treinamento de modelo em quatro vezes e escala sua solução para acomodar centenas de casos de uso. Isso a ajudou a proteger os recursos computacionais necessários e a treinar modelos rapidamente.

A NinjaTech AI, uma empresa de IA generativa que fornece um SuperAgent multifuncional para produtividade ilimitada, usou os planos de treinamento flexíveis do Amazon SageMaker HyperPod para acelerar o ajuste fino de vários modelos internos, incluindo o modelo Llama 3.1 405B, para reduzir os custos de treinamento de modelo e automatizar o processo. A empresa tem como objetivo fornecer uma experiência perfeita aos usuários que desejam acessar vários agentes de IA que potencializam sua tecnologia SuperAgent. Para conseguir isso, ela precisava de um modelo que pudesse prever automaticamente a intenção do usuário e determinar qual agente de IA seria adequado para ele. Esse mecanismo exigiu atualizações frequentes no modelo, incorporando feedback de clientes e novos atributos de forma iterativa, envolvendo de 10 milhões a 100 milhões de tokens em cada rodada de ajuste fino do LoRA. Como startup, adquirir e operar recursos de computação de alto desempenho é um desafio devido aos altos problemas de custo e largura de banda, especificamente em clusters de vários nós que envolvem rede e armazenamento rápidos, além de computação acelerada. Além disso, o processo de treinamento é demorado, envolvendo etapas como download de modelos, treinamento distribuído, ponto de verificação, monitoramento, remediação automática, fusão e quantização. Os planos de treinamento flexíveis da HyperPod forneceram à empresa uma computação confiável e acessível antes da execução do treinamento, atendendo aos requisitos específicos de computação e cronograma, ao mesmo tempo em que garantiam o treinamento de modelo eficiente.

Desenvolvedores e cientistas de dados da OpenBabylon, uma empresa de IA que personaliza grandes modelos de linguagem para idiomas sub-representados, usam os planos de treinamento flexíveis do SageMaker HyperPod há alguns meses para otimizar seu acesso aos recursos da GPU para realizar experimentos em grande escala. Usando os recursos de treinamento distribuído de vários nós do SageMaker HyperPod, eles conduziram 100 experimentos de treinamento de modelos em grande escala, obtendo resultados de última geração na tradução do inglês para o ucraniano. Essa inovação foi alcançada dentro do prazo e de forma econômica, demonstrando a capacidade do SageMaker HyperPod de entregar com sucesso projetos complexos dentro do prazo e do orçamento.

“Com o Amazon SageMaker HyperPod, criamos e implantamos os modelos básicos por trás de nossa plataforma de IA agêntica usando a mesma computação de alta performance. Essa transição perfeita do treinamento para a inferência simplificou nosso fluxo de trabalho, reduziu o tempo de produção e garantiu performance consistente em ambientes ao vivo. O HyperPod nos ajudou a passar da experimentação ao impacto no mundo real com maior velocidade e eficiência.”

Laurent Sifre, cofundador e CTO, H.AI

“Estamos entusiasmados para usar a solução de observabilidade com um clique do Amazon SageMaker HyperPod. Nossos funcionários seniores precisavam de informações sobre como estamos utilizando recursos caros de GPU. Os painéis pré-criados do Grafana nos darão exatamente o que precisávamos, com visibilidade imediata das métricas críticas, desde a utilização da GPU específica de uma tarefa até a performance do sistema de arquivos (FSx para Lustre), sem exigir a manutenção de nenhuma infraestrutura de monitoramento. Como alguém que aprecia a capacidade da Prometheus Query Language, gosto do fato de poder escrever minhas próprias consultas e analisar métricas personalizadas sem me preocupar com problemas de infraestrutura.”

Josh Wills, membro da equipe técnica, Datology AI

“Com o SageMaker HyperPod e o Trainium, nossos pesquisadores experimentam na mesma velocidade que nossa comunidade cria. Não estamos apenas acompanhando as tendências musicais, estamos definindo-as.”

Randeep Bhatia, diretor de tecnologia da Splash Music

“Estamos ampliando nossa parceria com a AWS ao atuar como parceiro de lançamento para a governança de tarefas do Amazon SageMaker HyperPod. Nossa colaboração com a AWS nos permitirá orientar os clientes em direção às últimas inovações tecnológicas, ao mesmo tempo em que contribuímos para a redução dos custos das aplicações de IA generativa. Ao reunir as funcionalidades de governança centralizada no SageMaker HyperPod e nossa experiência em projetos de IA generativa, podemos ajudar as empresas a perceber o valor da IA generativa ainda mais rapidamente, melhorando a experiência do cliente e aumentando o retorno sobre o investimento.”

Jennifer Jackson, líder global do Accenture AWS Business Group e diretora executiva sênior

“Estamos entusiasmados em colaborar com a AWS ao atuar como parceiro de lançamento para a governança de tarefas do Amazon SageMaker HyperPod. Ao colaborar com a AWS, podemos apoiar nossos clientes na adoção rápida dos avanços tecnológicos mais recentes e na redução dos custos das aplicações de IA generativa. Ao combinar as funcionalidades de governança centralizada do SageMaker HyperPod com o amplo conhecimento técnico da Slalom em IA e em nuvem, podemos oferecer experiências excepcionais aos clientes, além de aumentar o retorno sobre o investimento.”

Jeff Kempiners, diretor executivo do Centro de Excelência (CoE) da Amazon para a Slalom

“Estamos empolgados em colaborar com a AWS ao atuar como parceiro de lançamento para a governança de tarefas do SageMaker HyperPod. Em parceria, podemos auxiliar nossos clientes a reduzir os custos das aplicações de IA generativa e, ao mesmo tempo, mantê-los atualizados com os avanços tecnológicos mais recentes. Ao combinar as funcionalidades de governança centralizada do SageMaker HyperPod com o amplo conhecimento técnico da Rackspace em IA e em nuvem, podemos transformar as experiências dos clientes e melhorar o retorno sobre investimento simultaneamente.”

Srini Koushik, presidente do departamento de IA, tecnologia e sustentabilidade, Rackspace Technology