Amazon SageMaker
Crie, treine e implante modelos de Machine Learning em grande escala
O Amazon SageMaker é uma plataforma totalmente gerenciada que permite que desenvolvedores e cientistas de dados criem, treinem e implantem modelos de Machine Learning de forma rápida e fácil em qualquer escala. O Amazon SageMaker remove todas as barreiras que normalmente atrapalham os desenvolvedores que querem usar o Machine Learning.
O Machine Learning geralmente parece mais difícil do que deveria para a maioria dos desenvolvedores. O motivo é que o processo para criar e treinar modelos para implementação em produção é muito complicado e lento. Primeiro, é necessário coletar e preparar dados de treinamento para descobrir quais elementos do conjunto de dados são importantes. Depois, você precisa selecionar qual algoritmo e estrutura serão usados. Após escolher a abordagem, o modelo deve ser ensinado a fazer previsões por meio de treinamento, uma atividade que exige uma grande quantidade de computação. Em seguida, você precisa ajustar o modelo para que oferece as melhores previsões possíveis, uma tarefa normalmente manual e tediosa. Depois de desenvolver um modelo totalmente treinado, deve-se integrar o modelo ao aplicativo e implantar esse aplicativo em infraestrutura com recursos de escalabilidade. A execução de todas essas tarefas todo exige muita especialização, acesso a grandes quantidades de computação e armazenamento e muito tempo para experimentar e otimizar cada parte do processo. Portanto, não é uma surpresa que tudo isso pareça estar fora do alcance da maioria dos desenvolvedores.
O Amazon SageMaker remove a complexidade que impede o sucesso dos desenvolvedores em cada uma dessas etapas. O Amazon SageMaker inclui módulos que podem ser usados juntos ou separadamente para criar, treinar e implantar modelos de Machine Learning.
Como funciona
Crie
O Amazon SageMaker facilita a criação e a preparação de modelos de ML para treinamento, fornecendo tudo de que você precisa para se conectar com rapidez aos dados de treinamento, além de selecionar e otimizar o melhor algoritmo e estrutura para o seu aplicativo. O Amazon SageMaker inclui blocos de notas Jupyter hospedados que facilitam a exploração e visualização dos dados de treinamento armazenados no Amazon S3. Você pode se conectar diretamente aos dados no S3 ou usar o AWS Glue para mover dados do Amazon RDS, Amazon DynamoDB e Amazon Redshift para o S3 para análise no seu bloco de notas.
Para ajudar você a selecionar um algoritmo, o Amazon SageMaker inclui os algoritmos de Machine Learning mais comuns, pré-instalados e otimizados para oferecer até 10 vezes a performance que você encontrará executando esses algoritmos em qualquer outro lugar. O Amazon SageMaker também é fornecido pré-configurado para executar TensorFlow, Apache MXNet e Chainer em contêineres do Docker. Você também pode fazer download desses contêineres de código aberto para o ambiente local e usar o SDK do Python do Amazon SageMaker para testar os scripts em modo local antes de usar o Amazon SageMaker para treinar ou hospedar o modelo em produção. Se desejar, você também pode usar a sua própria estrutura.
Treine
Para começar a treinar seu modelo, basta um único clique no console do Amazon SageMaker. O Amazon SageMaker gerencia toda a infraestrutura subjacente para você e pode escalar facilmente para treinar modelos na escala de petabytes. Para que o processo de treinamento seja ainda mais rápido e fácil, o Amazon SageMaker pode ajustar automaticamente um modelo para alcançar a maior precisão possível.
Implante
Depois que o modelo estiver treinado e ajustado, o Amazon SageMaker facilita a implantação na produção para que você possa começar a gerar previsões (um processo chamado inferência) para dados em lote ou em tempo real. O Amazon SageMaker implanta seu modelo em um cluster de escalabilidade automática de instâncias de Machine Learning do Amazon SageMaker distribuídas em várias zonas de disponibilidade para oferecer altos níveis de performance e disponibilidade. O Amazon SageMaker também inclui recursos integrados de teste A/B para ajudar você a testar seu modelo e experimentar versões diferentes a fim de atingir os melhores resultados.
Com o Amazon SageMaker, você elimina o trabalho pesado do Machine Learning e pode se concentrar em criar, treinar e implantar os modelos de Machine Learning de forma rápida e fácil.
Benefícios
Coloque rapidamente o Machine Learning em produção
O Amazon SageMaker reduz consideravelmente a quantidade de tempo necessária para treinar, ajustar e implantar modelos de Machine Learning. O Amazon SageMaker gerencia e automatiza todas as técnicas sofisticadas de treinamento e ajuste para que você possa colocar rapidamente os modelos em produção.
Escolha qualquer estrutura ou algoritmo
O Amazon SageMaker oferece suporte a todos os algoritmos e estruturas de máquina para que você possa usar a tecnologia que já conhece. O Apache MXNet, o TensorFlow e o Chainer são pré-instalados e o Amazon SageMaker oferece uma variedade de algoritmos de Machine Learning de alta performance incorporados. Se você quiser treinar com uma estrutura ou um algoritmo alternativo, pode trazer o seu próprio em um contêiner do Docker.
Treinamento e implantação com um clique
O Amazon SageMaker permite começar a treinar um modelo com apenas um clique no console ou com uma simples chamada de API. Quando o treinamento for concluído e você estiver pronto para implantar o modelo, poderá executá-lo com um único clique no console do Amazon SageMaker.
Integração fácil a fluxos de trabalho existentes
O Amazon SageMaker foi criado em três módulos que podem ser usados em conjunto ou de forma independente como parte de um fluxo de trabalho de Machine Learning já existente.
Acesso fácil a modelos treinados
O Amazon SageMaker facilita a integração de modelos de Machine Learning em aplicativos fornecendo um endpoint HTTPS que pode ser chamado de qualquer aplicativo.
Otimizado para velocidade
O Amazon SageMaker é pré-configurado com as versões mais recentes do TensorFlow, do Apache MXNet e do Chainer, além de oferecer suporte à biblioteca CUDA9 para proporcionar a performance máxima em GPUs NVIDIA. Com instâncias P3 do Amazon SageMaker executadas em GPUs NVIDIA Volta V100, o serviço permite treinar modelos de aprendizado profundo com velocidade inigualável.
Clientes do SageMaker
“Como líder global no fornecimento de imagens de alta resolução, dados e análises da Terra, a DigitalGlobe trabalha com grandes quantidades de dados todos os dias. A DigitalGlobe facilita a pesquisa, o acesso e a execução de computação em toda a nossa biblioteca de imagens de 100 PB, armazenada na Nuvem AWS, para aplicar aprendizado profundo às imagens de satélite. Pretendemos usar o Amazon SageMaker para treinar modelos com petabytes de conjuntos de dados de imagens de observação da Terra, usando blocos de notas Jupyter hospedados. Dessa forma, os usuários da Geospatial Big Data Platform (GBDX) da DigitalGlobe podem simplesmente pressionar um botão, criar um modelo e implantá-lo em grande escala em um ambiente distribuído escalável.”
“Desenvolvemos recursos avançados de Machine Learning há mais de 25 anos para encontrar, conectar, aprimorar, organizar e entregar informações aos nossos clientes para que possam simplificar e obter mais valor de seu trabalho. O Amazon SageMaker nos permitiu projetar um recurso de processamento de linguagem natural no contexto de um aplicativo que responde a perguntas. Nossa soluções exigiu várias iterações de configurações de aprendizado profundo em grande escala, usando os recursos do Amazon SageMaker.”
“Nosso foco é acelerar e facilitar mais do que nunca a contratação de profissionais pelas empresas e a identificação de vagas pelos profissionais. Para isso, treinamos nossos algoritmos de Machine Learning com centenas de milhões de atividades transacionais históricas. O resultado é a disponibilização de associações relevantes entre vagas e profissionais com a maior rapidez possível. O Amazon SageMaker resolveu nossos problemas com o gerenciamento de fluxos de trabalho de ML, oferecendo flexibilidade para o treinamento, a avaliação e a implantação de modelos. Além disso, a modularidade do Amazon SageMaker permite projetar e criar modelos de forma independente, um recurso muito importante para a ZipRecruiter.”
“Na Hotels.com, estamos sempre interessados em aumentar a agilidade, usar as mais recentes tecnologias e promover a inovação. Os algoritmos otimizados de treinamento distribuído e os recursos incorporados de hiperparâmetros do Amazon SageMaker devem permitir que a equipe crie rapidamente modelos mais precisos com base em nossos maiores conjuntos de dados, reduzindo o tempo considerável necessário para implantar um modelo em produção. Basta uma chamada de API. O Amazon SageMaker reduzirá substancialmente a complexidade do Machine Learning, agilizando a criação de uma melhor experiência para os nossos clientes.”
Matt Frye, vice-presidente e diretor de ciência de dados da Hotels.com e da Expedia Affiliate Network
“Com o Amazon SageMaker, podemos acelerar nossas iniciativas de inteligência artificial em grande escala, criando e implantando algoritmos na plataforma. Criaremos e implantaremos algoritmos inovadores de Machine Learning e IA em grande escala nessa plataforma para resolver problemas complexos dos clientes e promover o seu sucesso.”
“O Amazon SageMaker reduzirá nossos custos e aumentará a velocidade com que usamos o Machine Learning. Com o Amazon SageMaker, podemos fazer a transição de nossa implantação autogerenciada de TensorFlow atual para um serviço totalmente gerenciado. O Amazon SageMaker também facilita o nosso acesso a outras estruturas populares de aprendizado profundo, além de gerenciar a infraestrutura de criação, treinamento e disponibilização de nossos modelos.”
David Bernstein, diretor de tecnologia estratégica, Zendesk
Treine com o Any Deep Learning Framework
Com o Amazon SageMaker, você pode usar a sua estrutura de aprendizado profundo preferida para o treinamento de modelos. Basta trazer o seu próprio contêiner de Docker com suas estruturas e bibliotecas favoritas (como Caffe2, PyTorch, Microsoft Cognitive Toolkit (CNTK), Chainer ou Torch) e o Amazon SageMaker gerenciará a infraestrutura subjacente para treinar os seus modelos.
Casos de uso
Direcionamento de anúncios
O uso do Amazon SageMaker com outros serviços da AWS ajudará a otimizar o retorno sobre as despesas com anúncios. O Amazon SageMaker pode treinar e implantar facilmente modelos de Machine Learning que segmentam anúncios online com maior eficácia, o que aprimora o envolvimento e a conversão de clientes. Sistemas de recomendação, previsão de click-through, segmentação de clientes e modelos de aumento do valor da vida útil podem ser treinados no ambiente sem servidor e distribuído do Amazon SageMaker. Após a criação, os modelos podem ser hospedados facilmente em endpoints de baixa latência com escalabilidade automática ou passado para outros sistemas de ofertas em tempo real.
Previsão de inadimplência de crédito
O Amazon SageMaker facilita a previsão da probabilidade de inadimplência de crédito, um problema comum de Machine Learning. O Amazon SageMaker integra-se estreitamente a estruturas analíticas existentes, como Amazon Redshift, Amazon EMR e AWS Glue, o que permite publicar conjuntos de dados grandes e diversificados em um data lake do Amazon S3, transformá-los rapidamente, criar modelos de Machine Learning e hospedá-los imediatamente para uso em previsões online.
IoT industrial e Machine Learning
A IoT industrial e o Machine Learning podem possibilitar previsões em tempo real para prever falhas de maquinário ou agendamento de manutenção, o que resulta em maiores níveis de eficiência. Duplicatas ou réplicas digitais de ativos físicos, processos ou sistemas podem ser geradas como modelos para definir a manutenção preventiva ou para otimizar a saída de máquinas ou processos industriais complexos. O modelo pode ser atualizado continuamente para “aprender” praticamente em tempo real com qualquer alteração ocorrida.
Previsão de cadeia de suprimentos e demanda
O Amazon SageMaker oferece a infraestrutura e os algoritmos necessários para desenvolver previsões de vendas individuais para cada produto nos maiores ambientes de comércio eletrônico. Dispondo apenas de séries temporais e de dados de categorias de produtos, o Amazon SageMaker detecta sazonalidade, tendências e similaridades de produtos para proporcionar previsões precisas, mesmo para itens novos.
Previsão de click-through
O Amazon SageMaker implementa algoritmos XGboost em uma única máquina ou em CPUs distribuídas. Esses algoritmos são úteis em diversos casos de uso de classificação, regressão e avaliação, como a previsão de taxas de click-through. Os sistemas de previsão de cliques são essenciais para a maioria dos sistemas de publicidade online, pois é crucial prever a Click-Through Rate (CTR – Taxa de click-through) mais precisa possível para garantir a melhor experiência dos clientes. Você pode usar o algoritmo XGBoost para executar previsões em tempo real e retornar um resultado pontuado de previsões. Com esse resultado, você pode determinar se deve ou não disponibilizar anúncios de um anunciante específico e aprimorar a previsão de CTR em anúncios exibidos.
Previsão da qualidade de conteúdo
O Amazon SageMaker tem diversas ferramentas para pré-processamento e localização de estruturas em texto. Essas informações são usadas para fazer previsões sobre a qualidade do conteúdo. Você pode gerar incorporações de palavras para encontrar palavras semânticas e sintáticas semelhantes em grandes volumes de texto e agrupar palavras similares para evitar a dispersão. Em seguida, você pode agrupar documentos semelhantes em clusters com os modelos de tópicos avançados do Amazon SageMaker. Por fim, crie modelos de classificação independentes por cluster com base nos dados de palavras reduzidos dimensionais agrupados para determinar se os documentos precisam de moderação.
Saiba mais sobre o Amazon SageMaker
