Publicado: Dec 8, 2020
Estamos contentes por anunciar o Amazon SageMaker Pipelines, um novo recurso do Amazon SageMaker para criar, gerenciar, automatizar e dimensionar fluxos de trabalho de machine learning de ponta a ponta. O SageMaker Pipelines traz automação e orquestração para fluxos de trabalho de ML, permitindo que você acelere projetos de machine learning e dimensione para milhares de modelos em produção.
Machine Learning é um processo iterativo e requer colaboração entre diferentes partes interessadas, como engenheiros de dados, cientistas de dados, engenheiros de ML e engenheiros de DevOps. É desafiador criar um processo dimensionável para construir modelos, pois o número de etapas na preparação de dados, engenharia de recursos, treinamento e avaliação de modelo pode se tornar grande, aumentando a complexidade no gerenciamento de dependências de dados. À medida que o número de modelos aumenta, o gerenciamento de versões de modelos e sua implantação na produção exigem automação de maneira fácil e dimensionável. Por fim, o rastreamento da linhagem no pipeline de ponta a ponta requer ferramentas customizadas para o rastreamento de dados e artefatos e ações de modelo.
OAmazon SageMaker Pipelinespermite que as equipes de ciência de dados e engenharia colaborem perfeitamente em projetos de ML e simplifiquem a criação, automatização e escalabilidade de fluxos de trabalho de ML de ponta a ponta. O Amazon SageMaker SDK facilita a criação de pipelines de construção de modelo, definindo os parâmetros e etapas que podem incluir oAmazon SageMaker Data Wrangler, processamento, treinamento, transformação em lote, avaliação condicional e registro de modelos no registro de modelo central. Depois que os pipelines são criados, o Amazon SageMaker cuida da execução dos pipelines e você pode visualizar as execuções do pipeline e as métricas e logs em tempo real para cada etapa no Amazon SageMaker Studio. Os modelos são registrados no novo registro de modelos do Amazon SageMaker, que cria versões automaticamente de novos modelos gerados a partir de pipelines e oferece fluxos de trabalho de aprovação integrados para selecionar quais modelos são implantados na produção.
O Amazon SageMaker Pipelines oferece as melhores práticas de DevOps de integração e entrega contínua (CI/CD) aplicadas machine learning (conhecido como MLOps) para automatizar e dimensionar a criação de modelos de ML e os pipelines de implantação. O Amazon SageMaker Pipelines fornece modelos integrados de MLOps para que você possa começar a usar CI/CD para projetos de ML e também fornece a capacidade de usar modelos de MLOps personalizados. Como resultado, você pode dimensionar seus pipelines de ML de maneira rápida e fácil sem depender de processos manuais e garantir melhor a consistência do código, integração e teste de unidade, além de atualizações confiáveis do modelo na produção. Por fim, o Amazon SageMaker Pipelines rastreia automaticamente a linhagem para cada etapa de seu pipeline de ML, o que pode ajudar com quaisquer requisitos de governança e auditoria, sem a necessidade de criar qualquer ferramenta personalizada.
O Amazon SageMaker Pipelines agora está disponível em todas as regiões comerciais da AWS onde o Amazon SageMaker está disponível, e os recursos de MLOps dos Amazon SageMaker Pipelines estão disponíveis apenas nas regiões da AWS onde o AWS CodePipeline também está disponível. Leia a documentação para obter mais informações e blocos de anotações de amostra. Para saber como usar o recurso, acesse a publicação do blog.