A Adobe foi fundada há 40 anos com a simples ideia de criar produtos inovadores que mudam o mundo. A Adobe oferece tecnologia inovadora que permite a todos, em qualquer lugar, imaginar, criar e dar vida a qualquer experiência digital.
Desafio: Em vez de confiar em modelos de código aberto, a Adobe decidiu treinar seus próprios modelos fundamentais de IA generativa adaptados para casos de uso criativo.
LG AI Research Junto com os principais especialistas mundiais em IA, a LG AI Research pretende liderar a próxima era da IA para concretizar um futuro promissor com você, fornecendo um ambiente de pesquisa ideal e tirando proveito de tecnologias de IA de última geração.
Desafio: a LG AI Research precisava implantar seu modelo de base, o EXAONE, em produção no período de um ano. EXAONE, que significa “expert AI for everyone” (ou “inteligência artificial especializada para todos”, em tradução livre), é um modelo multimodal de 300 bilhões de parâmetros que usa imagens e dados de texto.
Solução: a LG AI Research usou o Amazon SageMaker para treinar seu modelo de base em grande escala e o Amazon FSx para Lustre para distribuir dados em instâncias a fim de acelerar o treinamento de modelos. A LG AI Research precisava implantar seu modelo de base, o EXAONE, em produção no período de um ano. A LG AI Research implantou o EXAONE com sucesso em um ano e reduziu os custos em aproximadamente 35% ao eliminar a necessidade de uma equipe à parte para o gerenciamento da infraestrutura.
A Paige é a principal fornecedora de transformação digital de patologias, oferecendo uma solução completa, baseada na Web e habilitada por inteligência artificial que promove eficiência e confiança para o diagnóstico do câncer.
Desafio: as soluções on-premises da Paige estavam no limite máximo. O objetivo da empresa era treinar modelos de IA e ML para ajudar na patologia do câncer. A Paige descobriu que, quanto maior a capacidade computacional disponível, mais rápido é possível treinar seus modelos e ajudar a resolver problemas de diagnóstico.
Solução: para executar suas workloads de treinamento de ML, a Paige selecionou instâncias P4d do Amazon EC2, equipadas com GPUs NVIDIA A100 Tensor Core, que oferecem alto desempenho para treinamento de ML e aplicações de HPC na nuvem. A Paige usa o Amazon FSx para Lustre, um armazenamento compartilhado totalmente gerenciado com base em um popular sistema de arquivos de alto desempenho. A empresa conectou esse serviço a alguns dos seus buckets do Amazon S3, o que ajuda suas equipes de desenvolvimento a lidar com petabytes de dados de entrada de ML sem pré-preparar os dados manualmente em sistemas de arquivos de alto desempenho. O resultado da solução da AWS é que a Paige é capaz de treinar 10 vezes a quantidade de dados on-premises usando a infraestrutura da AWS para ML. A Paige também teve fluxos de trabalho internos 72% mais rápidos com o Amazon EC2 e o Amazon FSx para Lustre.
Ao conectar o Amazon FSx para Lustre ao Amazon S3, podemos treinar com 10 vezes a quantidade de dados que já testamos até agora na infraestrutura on-premises sem nenhum problema.
O Toyota Research Institute escolheu o FSx para Lustre para reduzir os tempos de treinamento de machine learning de reconhecimento de objetos.
O Toyota Research Institute (TRI) coleta e processa grandes quantidades de dados de sensores por meio dos test drives de veículos autônomos (AV). Cada conjunto de dados de treinamento é armazenado em um dispositivo NAS on-premises e transferido para o Amazon Simple Storage Service (Amazon S3) antes de ser processado em um robusto cluster de computação de GPU. O TRI precisava de um sistema de arquivos de alta performance para combinar com seus recursos computacionais, acelerar o treinamento de modelos de ML e acelerar os insights de seus cientistas de dados.
Precisávamos de um sistema de arquivos paralelo para nossos conjuntos de dados de treinamento de ML e escolhemos o Amazon FSx para Lustre por sua maior disponibilidade e durabilidade, em comparação com nossa oferta de sistema de arquivos herdado. A integração com os serviços da AWS, inclusive o S3, também a tornou a opção preferida para nosso armazenamento de arquivos de alta performance.
David Fluck, engenheiro de software do Toyota Research Institute
Shell
A Shell oferece um portfólio dinâmico de opções de energia (desde petróleo, gás e petroquímicos até energia eólica, solar e hidrogênio) e se orgulha em fornecer a energia de que os clientes precisam para abastecerem suas vidas.
Desafio: a Shell depende da HPC para criar, testar e validar modelos. De 2020 a 2022, a média de utilização da GPU havia sido inferior a 90%, resultando em atrasos em projetos e limitações na experimentação de novos algoritmos.
Solução: a Shell expandiu sua capacidade computacional on-premises ao migrar para a nuvem com clusters Amazon EC2 e o Amazon FSx para Lustre. Essa solução dá à Shell a capacidade de aumentar e reduzir a escala verticalmente com rapidez e de apenas comprar capacidade computacional adicional quando necessário. As GPUs da Shell agora são totalmente aproveitadas, reduzindo o custo da computação e acelerando os testes de modelos de machine learning.
Storengy
A Storengy, uma subsidiária do Grupo ENGIE, é líder em fornecimento de gás natural. A empresa oferece armazenamento de gás, soluções geotérmicas, produção de energia livre de carbono e tecnologias de armazenamento para empresas em todo o mundo.
Para garantir que seus produtos sejam armazenados adequadamente, a Storengy usa simuladores de alta tecnologia para avaliar o armazenamento subterrâneo de gás, um processo que exige o uso extensivo de workloads de computação de alta performance (HPC). A empresa também usa a tecnologia de HPC para executar trabalhos de descoberta e exploração de gás natural.
Graças à AWS, temos a escalabilidade e a alta disponibilidade para realizar centenas de simulações ao mesmo tempo. Além disso, a solução aumenta ou diminui a escala na vertical automaticamente para oferecer suporte aos nossos períodos de pico de workload, e assim não temos nenhuma surpresa com o nosso ambiente de HPC.
Jean-Frederic Thebault, engenheiro da Storengy
Smartronix
A Smartronix utiliza o FSx para Lustre para oferecer alta performance confiável para suas implantações de redes SAS.
A Smartronix fornece soluções em nuvem, segurança cibernética, integração de sistemas, C5ISR e análise de dados mundiais e engenharia focada na missão para muitas das principais organizações comerciais e federais do mundo. A Smartronix confiou no SAS Grid para analisar e fornecer estatísticas diárias de COVID em todo o estado e achava que seu sistema de arquivos paralelo autogerenciado era difícil de administrar e proteger.
Trabalhar em parceria com a AWS e utilizar suas soluções gerenciadas, como o FSx para Lustre, nos permitiu atender melhor nossos clientes, com maior disponibilidade e custo 29% menor do que os sistemas de arquivos autogerenciados.
Rob Mounier, arquiteto de soluções sênior da Smartronix
Netflix
A Netflix é um serviço de streaming que oferece uma grande variedade de premiados programas de TV, filmes, desenhos animados, documentários e muito mais.
Desafio: a Netflix usa treinamento distribuído em grande escala para modelos de ML de mídia, miniaturas pós-produção, efeitos visuais e geração de trailers para milhares de vídeos e milhões de clipes. A Netflix estava enfrentando longas esperas devido à replicação entre nós e ao tempo ocioso de 40% das GPUs.
Solução: a Netflix rearquitetou seu pipeline de carregamento de dados e melhorou sua eficiência pré-computando todos os clipes de vídeo/áudio. A Netflix também escolheu o Amazon UltraClusters (instâncias P4d do EC2) para acelerar o desempenho computacional. O desempenho do Amazon FSx para Lustre permite que a Netflix sature as GPUs e praticamente elimine o tempo ocioso delas. Agora, a Netflix desfruta de uma melhoria de 3 a 4 vezes usando a pré-computação e o FSx para Lustre, reduzindo assim o tempo de treinamento de modelos de uma semana para 1 ou 2 dias.
A Hyundai Motor Company cresceu como fabricante de automóveis reconhecida mundialmente, exportando os veículos da marca para mais de 200 países.
Desafio: um dos algoritmos frequentemente usados na direção autônoma é a segmentação semântica, que é uma tarefa para anotar cada pixel de uma imagem com uma classe de objeto. Essas classes podem ser estrada, pessoa, carro, edifício, vegetação, céu, etc. A Hyundai testa a precisão e reúne imagens adicionais para corrigir o desempenho preditivo insuficiente em situações específicas. No entanto, isso pode ser um desafio, pois, muitas vezes, não há tempo bastante para preparar todos os novos dados e, ao mesmo tempo, treinar o modelo e cumprir os prazos programados.
Solução: a Hyundai escolheu o Amazon SageMaker para automatizar o treinamento de modelos, e a biblioteca do Amazon SageMaker para paralelismo de dados, para passar de uma única GPU para o treinamento distribuído. A empresa escolheu o Amazon FSx para Lustre para treinar modelos sem esperar pelas cópias dos dados. Ela também escolheu o Amazon S3 para seu armazenamento de dados permanente. A Hyundai alcançou até 93% de eficiência em ajuste de escala, com 8 instâncias de GPU ou 64 GPUs no total. O FSx para Lustre possibilitou que a Hyundai executasse vários trabalhos de treinamento e experimentos com os mesmos dados e sem tempo de espera.
A Rivian tem a missão de fazer o mundo continuar aventureiro para sempre. Acreditamos que existe uma forma mais responsável de explorar o mundo e estamos decididos a fazer com que a transição para o transporte sustentável seja interessante.
Para cumprir cronogramas de engenharia acelerados e reduzir a necessidade de protótipos físicos, a fabricante de veículos elétricos Rivian conta com técnicas avançadas de simulação e modelagem. Usando alta capacidade computacional, as simulações permitem que os engenheiros testem novos conceitos e introduzam seus projetos no mercado rapidamente.
A parceria com a Amazon permite que a Rivian se concentre no desenvolvimento e no fornecimento de veículos sustentáveis, em vez da TI. E com a Amazon, estamos executando nossas principais aplicações de desenvolvimento mais rápido do que on-premises, incluindo: 56% mais rápido no Elements, 35% mais rápido na Siemens e 20% mais rápido no Ansys.
A Denso desenvolve sensores de imagem para sistemas avançados de assistência ao motorista (ADAS), que ajudam os motoristas em funções como estacionar e mudar de faixa.
Desafio: para desenvolver os modelos de ML necessários para o reconhecimento de imagem via ADAS, a DENSO havia criado clusters de GPU em seu ambiente on-premises. No entanto, vários engenheiros de ML compartilhavam recursos limitados de GPU, o que afetava a produtividade, especialmente durante o período movimentado antes do lançamento de um novo produto.
Solução: ao adotar o Amazon SageMaker e o Amazon FSx para Lustre, a Denso conseguiu acelerar a criação de modelos de reconhecimento de imagem via ADAS, reduzindo o tempo de aquisição de dados, desenvolvimento de modelos, aprendizado e avaliação.
“A prática de migrar para a nuvem continuará se acelerando no campo de inteligência artificial e ML. Tenho certeza de que a AWS continuará nos dando suporte à medida que continuarmos a acrescentar funções.”
A Joby Aviation usa a AWS para revolucionar o transporte.
Desafio: os engenheiros da Joby contam com a computação de alta performance (HPC) para realizar milhares de simulações de fluidodinâmica computacional (CFD) complexas e com uso intensivo de computação, que utilizam centenas de núcleos de CPU e podem levar muitas horas para serem concluídas.
Solução: com o Amazon Elastic Compute Cloud (Amazon EC2) e o Amazon FSx para Lustre, a Joby conseguiu obter resultados mais rápidos de suas workloads de CFD em comparação com a infraestrutura de computação on-premises de alta performance.
Quando tentávamos executar dezenas de simulações ao mesmo tempo, fazíamos a leitura e gravação de vários gigabytes de dados de uma só vez, o que deixava tudo mais lento. O FSx para Lustre eliminou esses problemas de capacidade. Agora podemos aumentar o tamanho de nosso disco rígido com facilidade.
A T-Mobile obtém uma economia anual de USD 1,5 milhão e dobra a velocidade das workloads do SAS Grid usando o Amazon FSx para Lustre.
Desafio: a T-Mobile tinha altas despesas com gerenciamento e enfrentava dificuldades de performance com sua workload autogerenciada do SAS Grid.
Solução: a T-Mobile implantou o Amazon FSx para Lustre, um sistema de arquivos de alta performance totalmente gerenciado, para migrar e escalar sua infraestrutura SAS Grid. A T-Mobile utilizou a forte integração do Amazon FSx e do S3 para reduzir a sobrecarga de armazenamento e otimizar as operações.
O Amazon FSx para Lustre nos ajudou a dobrar a velocidade de nossas workloads do SAS Grid, reduzir o custo total de propriedade em 83% e eliminar completamente a carga operacional. A parceria com a AWS nos permite focar no que fazemos de melhor, o desenvolvimento de produtos inovadores para nossos clientes, ao mesmo tempo em que confiamos nos recursos de armazenamento de ponta do FSx e nos recursos de hospedagem de primeira categoria da AWS.
Dinesh Korde, gerente sênior de desenvolvimento de software da T-Mobile
Netflix
A produção da quarta temporada da série dramática “The Crown" se deparou com desafios inesperados, pois o mundo entrou em lockdown por causa da pandemia da COVID-19 exatamente quando o trabalho pós-produção de efeitos visuais estava previsto para começar. Ao adotar o fluxo de trabalho baseado em nuvem na AWS, incluindo o servidor de arquivos do Amazon FSx para Lustre para melhorar a throughput, a equipe de efeitos visuais interna da Netflix, composta de dez artistas, conseguiu concluir sem problemas mais de 600 sequências de efeitos visuais para a filmagem de dez episódios em apenas oito meses, trabalhando remotamente.
A Maxar usa a AWS para fornecer previsões 58% mais rápido do que o supercomputador meteorológico da empresa.
Desafio: a Maxar Technologies, parceira confiável e inovadora em inteligência terrestre e infraestrutura espacial, precisava fornecer previsões meteorológicas mais rapidamente em comparação com seu supercomputador on-premises.
Solução: a Maxar trabalhou com a AWS para criar uma solução de HPC com tecnologias essenciais, como o Amazon Elastic Compute Cloud (Amazon EC2) para recursos computacionais seguros e altamente confiáveis, o Amazon FSx para Lustre para acelerar a throughput de leitura e gravação de sua aplicação e o AWS ParallelCluster para criar com rapidez ambientes de computação de HPC na AWS.
A Maxar usou o Amazon FSx para Lustre em nossa solução de computação de alta performance (HPC) da AWS para executar o modelo numérico de previsão do tempo da NOAA. Isso permitiu que reduzíssemos o tempo de computação em 58%, gerando a previsão em cerca de 45 minutos por um preço com custo-beneficio muito melhor. Maximizar nossos recursos computacionais da AWS resultou em um incrível aumento de performance para nós.
A INEOS TEAM UK acelera o design de barcos para a Copa América de regata usando a AWS.
Desafio: formada em 2018, a INEOS TEAM UK tem como objetivo levar a Copa América de regata, o troféu esportivo internacional mais antigo do mundo, para a Grã-Bretanha. A Copa América restringe os testes na água a, no máximo, 150 dias antes do evento. Assim, simulações de fluidodinâmica computacional (CFD) de alta performance de monocascos e películas tornam-se essenciais para um design de barco vencedor.
Solução: com a AWS, a INEOS TEAM UK pode processar milhares de simulações de design para seu barco da Copa América em uma semana, em vez de levar mais de um mês usando um ambiente on-premises. A INEOS TEAM UK competiu na 36.ª edição da Copa América em 2021. A equipe está usando um ambiente de HPC executado em instâncias spot do Amazon EC2. Para garantir rápida performance do disco para as milhares de simulações concluídas toda semana, a equipe também usou o Amazon FSx para Lustre para fornecer um sistema de arquivos de alta performance rápido, escalável e seguro baseado no Amazon Simple Storage Service (S3).
A AWS nos permite realizar etapas maiores de design, simplesmente porque temos mais tempo para entender nossos resultados.
A Hive VFX reduziu os custos iniciais do estúdio e opera como estúdio de efeitos visuais em nuvem na AWS.
Desafio: a Hive precisava de uma infraestrutura de alta performance para lançar um pequeno estúdio independente na nuvem para artistas remotos do mundo inteiro criarem conteúdo de qualidade.
Solução: o Amazon FSx para Lustre totalmente gerenciado, integrado ao Amazon S3, forneceu acesso rápido aos recursos de computação da AWS sem um grande investimento inicial ou experiência interna da equipe de TI. A sincronização perfeita de dados de arquivos e permissões de arquivos entre o FSx para Lustre e o S3 permitiu que a Hive VFX armazenasse um grande volume de imagens e compartilhasse dados de projetos em todos os continentes.
Consigo criar um sistema de arquivos do Amazon FSx para Lustre em cinco minutos, e tudo é gerenciado pela AWS.
A Lyell acelera sua pesquisa de tratamento de câncer baseada em células com o Amazon FSx para Lustre.
Desafio: a Lyell oferece tratamentos oncológicos curativos baseados em células que exigem a execução de projetos computacionais de proteínas em grande escala. Essas workloads tradicionalmente eram executadas on-premises, mas a empresa precisava de uma solução mais escalável e com melhor custo-benefício, pois estava limitada a executar apenas um experimento por mês.
Solução: desde a migração de seu sistema de arquivos ao FSx para Lustre, os cientistas de dados podem fazer spin-up e spin-down de milhares de clusters de HPC que consistem em instâncias do EC2 e sistemas de arquivos do Amazon FSx, permitindo que executem experimentos pesados de processamento rapidamente e paguem apenas pela computação e pelo armazenamento durante a workload.
O Amazon para FSx Lustre acelera nossa pesquisa no desenvolvimento da próxima geração de tratamento contra o câncer. Com o FSx, reduzimos o tempo de execução de nossos experimentos de semanas para horas e possibilitamos que os cientistas testassem muito mais hipóteses do que antes. Nossas workloads executadas em dezenas de milhares de nós de computação agora podem usar o FSx para acessar dados do S3 em conjuntos muito altos.
Anish Kejariwal, diretor de engenharia de análise de dados da Lyell Immunopharma
BlackThorn Therapeutics
A BlackThorn Therapeutics acelerou o tempo de obtenção de informações com o FSx para Lustre.
Desafio: processar dados de ressonância magnética (MRI) usando sistemas de arquivos em nuvem padrão do tipo “faça você mesmo” consumia muitos recursos e tempo. A BlackThorn precisava de uma solução de armazenamento de arquivos compartilhado e com uso intensivo de computação que ajudasse a simplificar seus fluxos de trabalho de ciência de dados e machine learning.
Solução: o Amazon FSx para Lustre é integrado ao Amazon S3 e ao Amazon SageMaker, fornecendo processamento rápido para seus conjuntos de dados de treinamento de ML e acesso integrado à computação usando instâncias do Amazon EC2.
O FSx para Lustre nos permitiu criar um pipeline de processamento de dados de ressonância magnética de alta performance. O tempo de processamento de dados para nossos fluxos de trabalho baseados em ML foi reduzido para minutos em vez de dias e semanas.
Oscar Rodriguez, diretor sênior de inovação e tecnologia da BlackThorn Therapeutics
Qubole
O Qubole melhora a durabilidade dos dados enquanto reduz os custos com o Amazon FSx para Lustre.
Desafio: a Qubole estava buscando uma solução de armazenamento de alta performance para processar workloads analíticas e de IA/ML para seus clientes. Eles precisavam armazenar e processar facilmente os dados intermediários mantidos em sua frota spot do EC2.
Solução: a Qubole usou o Amazon FSx para Lustre para armazenar e processar dados intermediários por meio de seu sistema de arquivos paralelo e de alta velocidade.
Os dois maiores problemas de nossos usuários (altos custos e perda intermediária de dados) resultaram do uso de instâncias do EC2 e de instâncias spot do EC2 ociosas para processar e armazenar dados intermediários gerados por estruturas de processamento distribuído, como Hive e Spark. Conseguimos solucionar esse problema usando o Amazon FSx para Lustre, um sistema de arquivos de alta performance, para transferir dados intermediários. Agora, nossos usuários não precisam pagar para manter instâncias ociosas e não são afetados pelos nós spot do EC2 interrompidos. O Amazon FSx ajudou nossos usuários a reduzir os custos totais em 30%.
.dcc91d107b22fd499a22b701f193a70863e3ad80.png)
/jp_denso_logo.5da5b8bf5c452afcac00dab396a5d0e573f3af1a.png)
.2be45d7b37356de2fc20dff50a229f03547f1fd1.png)
