Select your cookie preferences

We use essential cookies and similar tools that are necessary to provide our site and services. We use performance cookies to collect anonymous statistics, so we can understand how customers use our site and make improvements. Essential cookies cannot be deactivated, but you can choose “Customize” or “Decline” to decline performance cookies.

If you agree, AWS and approved third parties will also use cookies to provide useful site features, remember your preferences, and display relevant content, including relevant advertising. To accept or decline all non-essential cookies, choose “Accept” or “Decline.” To make more detailed choices, choose “Customize.”

Pular para o conteúdo principalAWS Startups

Accelerating AI/ML scaling and AI development with Anyscale and AWS

Como estava esse conteúdo?

A criação de uma aplicação de inteligência artificial (IA) distribuída na nuvem e escalável é um esforço de várias equipes. Exige um gerenciamento complexo de recursos e envolve várias questões de produção, como alterações de código, refatoração, configuração da infraestrutura e operações complexas de desenvolvimento (DevOps). Isso pode confundir o processo de desenvolvimento, diminuir o tempo de lançamento no mercado e impedir que os desenvolvedores se concentrem na inovação do produto.

“Com a falta de caminhos estabelecidos do desenvolvimento à produção, algumas estimativas colocam a taxa de falha do projeto de desenvolvimento de IA em quase 50%”, explica Rob Ferguson, chefe global de IA e machine learning (ML) da Amazon Web Services (AWS) para startups.

É aí que o Anyscale, o Ray (a primeira estrutura de computação unificada e distribuída para escalar workloads de ML ou Python) e a Anyscale Platform (uma plataforma Ray totalmente gerenciada fornecida pelos criadores do Ray) ajudam as equipes de IA a acelerar o desenvolvimento e a experimentação e escalar aplicações sem esforço para garantir o sucesso de seus projetos de IA.

O Ray foi concebido no RISELab da Universidade da Califórnia em Berkeley e teve código aberto em 2017. Hoje, o Ray é amplamente adotado por organizações em todo o mundo para desenvolver aplicações de IA e Python em grande escala.

Melhore a escalabilidade e a ergonomia do desenvolvedor com a plataforma Anyscale

Para promover o desenvolvimento e a escalabilidade da IA para todas as organizações, a plataforma Anyscale amplia os recursos do Ray, permitindo que desenvolvedores e equipes multifuncionais acelerem a experimentação e o desenvolvimento de aplicações de ML em grande escala. A plataforma Anyscale e o Ray aumentam a velocidade do desenvolvedor fornecendo computação escalável para ingestão e pré-processamento de dados, treinamento de ML, ajuste de hiperparâmetros, fornecimento de modelos e muito mais, tudo isso enquanto se integra perfeitamente ao restante do ecossistema de ML.

A plataforma Anyscale amplia significativamente as capacidades do Ray. O Anyscale Workspaces oferece aos desenvolvedores uma experiência de desenvolvimento unificada e perfeita para escalar workloads de ML de um laptop para a nuvem sem alterações no código. Agora, os desenvolvedores podem aproveitar um único ambiente para criar, testar e implantar workloads na produção enquanto aproveitam as ferramentas com as quais estão familiarizados. A plataforma Anyscale melhora a velocidade de iteração ao reduzir o tempo de configuração do cluster em 5 vezes em relação ao Ray. Finalmente, a plataforma Anyscale fornece observabilidade, monitoramento e agendamento de trabalhos prontos para uso.

“Os recursos da plataforma Anyscale vão muito além dos recursos do Ray e facilitam ainda mais o desenvolvimento, a experimentação e o dimensionamento de workloads de IA/ML e Python”, disse Ion Stoica, cofundador e presidente executivo da Anyscale. “Milhares de organizações confiam no Ray para escalar aplicações de ML e Python, e um número crescente de organizações está aproveitando a plataforma Anyscale para criar, testar e implantar essas aplicações na produção mais rápido do que nunca”.

De desenvolvedores de IA a profissionais de ML, cientistas de dados e engenheiros; todos os colaboradores podem se beneficiar da facilidade, escalabilidade e ergonomia de desenvolvedor que a plataforma Anyscale oferece para toda a jornada de IA: do desenvolvimento, ajuste e treinamento de modelos até inferência e fornecimento de modelos escaláveis.

A missão da Anyscale é facilitar a criação e o dimensionamento de workloads de IA/ML e Python, bem como de aplicações de IA. Sua equipe democratiza a IA, facilitando que cientistas de dados e engenheiros de ML trabalhem com estruturas de projeto que façam sentido para criar sistemas de ML de produção. A computação distribuída escalável, unificada e aberta, como a que a Anyscale oferece para Ray, ajuda a levar à democratização e industrialização em massa da IA.

O compromisso da Anyscale com o código aberto e a liberdade da tecnologia compartilhada é evidente: a equipe da Anyscale lidera a comunidade de código aberto do Ray gerenciando operações, analisando contribuições e crescendo e desenvolvendo a comunidade. Além disso, eles são os maiores contribuidores do (OSS) e lançaram recentemente o Ray 2.1.

Criando modelos de ML maduros, confiáveis e facilmente escaláveis

Com a expectativa de que 90% das novas aplicações sejam nativas de nuvem até 2025, a Anyscale prevê a nuvem como o substrato padrão em que a próxima geração de aplicações será desenvolvida. Eles esperam que a próxima geração de infraestrutura em nuvem seja uma estrutura otimizada que facilite o desenvolvimento e o gerenciamento de aplicações.

A Anyscale utiliza o conjunto maduro de produtos da AWS como componentes para o rápido desenvolvimento de sua plataforma. O Anyscale e o Ray são completos na AWS, com performance e escalabilidade altamente eficientes. Além da escala da AWS ser um grande trunfo para o Anyscale e o Ray, alguns de seus maiores clientes têm um longo histórico de uso da AWS e isso facilita suas interações com os clientes.

“A inferência é 90% de qualquer projeto de ML. As equipes de machine learning precisam de novas formas de trabalhar com a computação distribuída para oferecer a próxima geração de ML em grande escala”, explica Rob. “A era dourada do machine learning está ocorrendo e a AWS e a Anyscale ajudam as empresas a criar modelos de ML da maneira que deveriam ser: maduros, confiáveis e facilmente escaláveis.”

A Amazon.com e a AWS trabalharam com a comunidade do Ray para integrar o Ray a muitos serviços da AWS, incluindo:

Soluções que se encaixam no ciclo de vida do AWS Well-Architected Machine Learning, como a plataforma Anyscale para o estágio de implantação, podem ajudar as empresas a dedicar mais tempo ao desenvolvimento de produtos do que ao provisionamento e gerenciamento de recursos.

O AWS Well-Architected Framework, que fornece as práticas recomendadas operacionais e arquitetônicas para projetar e operar workloads na nuvem, inclui pilares de excelência operacional, segurança, confiabilidade, eficiência de performance, otimização de custos e sustentabilidade. Com a plataforma Anyscale, os desenvolvedores podem aumentar sua eficiência de performance.

“O Anyscale simplifica um código de ML típico do Python e o ajuda a se encaixar na estrutura em apenas duas linhas de código”, explica Rob. “A AWS é uma casa incrível para a Anyscale com suas ferramentas líderes do setor para sistemas de produção, bem como as opções de computação mais amplas e profundas.”

Rob Ferguson

Rob Ferguson

Rob é Chefe Global de Inteligência Artificial e Machine Learning para Startups e Capital de Risco na AWS, baseado em São Francisco. Antes da AWS, ele trabalhou como CTO/VPE de duas startups da Y Combinator, levantando mais de 150 milhões de dólares, com experiência em IA/ML e em produtos eletrônicos de consumo e mídia. Como CTO da Automatic Labs, Rob conquistou uma das 10 maiores edições da Y Combinator, bem como um produto de mais de 4,5 estrelas na Amazon.

Ion Stoica

Ion Stoica

Stoica é professor da Berkeley desde 2000. Sua pesquisa inclui computação em nuvem, redes, sistemas distribuídos e big data. Ele é autor ou coautor de mais de 100 artigos resenhados por seu pares em várias áreas da ciência da computação. Stoica foi cofundador e diretor de tecnologia (CTO) da Conviva em 2006, uma empresa que surgiu do projeto End System Multicast na CMU. Stoica então coinventou o Apache Spark no Berkeley AMPLab. Em 2013, Stoica cofundou a Databricks, baseada no Spark, e atuou como CEO até 2016, quando se tornou presidente executivo. Stoica então co-inventou o Ray no Berkeley RISELab. Agora, o Ray é a estrutura de computação unificada que mais cresce para escalar workloads e aplicações de AI/ML. Stoica cofundou a Anyscale em 2019, a empresa que oferece a Anyscale Platform, uma plataforma Ray totalmente gerenciada. Atualmente, Ion Stoica é presidente executivo da Anyscale, além de Presidente do Conselho Executivo da Databricks.

Megan Crowley

Megan Crowley

Megan Crowley é Redatora Técnica Sênior na equipe de Conteúdo de Startups da AWS. Com uma carreira anterior como professora de inglês no ensino médio, ela é movida por um entusiasmo implacável por contribuir com conteúdo que seja ao mesmo tempo educativo e inspirador. Compartilhar histórias de Startups com o mundo é a parte mais gratificante de sua função na AWS. Em seu tempo livre, Megan pode ser encontrada trabalhando madeira, no jardim e em mercados de antiguidades.

Como estava esse conteúdo?