Implantação de referência

Predictive Data Science com o Amazon SageMaker e um Data Lake na AWS

Armazene e transforme dados para criar aplicativos preditivos e prescritivos

Este Quick Start cria um ambiente de data lake para construir, treinar e implantar modelos de machine learning (ML) com o Amazon SageMaker na nuvem da Amazon Web Services (AWS). A implantação, que demora cerca de 10 a 15 minutos, usa serviços da AWS como Amazon Simple Storage Service (Amazon S3), Amazon API Gateway, AWS Lambda, Amazon Kinesis Data Streams e Amazon Kinesis Data Firehose.

O Amazon SageMaker é uma plataforma gerenciada que permite que desenvolvedores e cientistas de dados criem, treinem e implantem modelos de ML com rapidez e facilidade.

Esse Quick Start é para usuários que queiram aproveitar todo o potencial de seus dados para criar modelos preditivos e prescritivos para gerar valor ao negócio, sem precisar configurar clusters de hardware de ML complexos. Ele viabiliza a ciência de dados completa, começando com dados brutos e finalizando com uma API REST de previsão em um sistema de produção.

O Quick Start também oferece um cenário de demonstração desenvolvido pela Pariveda Solutions. A demonstração mostra como armazenar dados brutos no Amazon S3, transformar os dados para consumo no Amazon SageMaker, usar o Amazon SageMaker para criar um modelo de ML e hospedar o modelo em uma API de previsão para a definição de preço de instâncias spot no Amazon Elastic Compute Cloud (Amazon EC2).

pariveda-data-lake-sagemaker-LP-logo

Este Quick Start foi desenvolvido pela Pariveda Solutions, Inc. em colaboração com a AWS. A Pariveda é uma parceira do APN.

Explorar todas as soluções AWS »
  •  O que você vai criar
  •  Como implantar
  •  Custo e licenças
  •  Recursos
  •  O que você vai criar
  • Essa arquitetura Quick Start criará o seguinte:

    • Um data lake estruturado no Amazon S3 para manter os dados brutos, modelados, aprimorados e transformados.
    • Um bucket de preparação para os dados projetados e transformados do recurso que serão ingeridos pelo Amazon SageMaker.
    • O código de transformação de dados hospedado no AWS Lambda para preparar os dados brutos para o consumo e treinamento do modelo de ML, e para transformar a entrada e saída de dados.
    • A automação do Amazon SageMaker pelas funções do Lambda para desenvolver, gerenciar e criar endpoints do REST para novos modelos, com base em uma programação ou acionados por alterações de dados no data lake.
    • Endpoints do Amazon API Gateway para hospedar APIs públicas para permitir que os desenvolvedores obtenham dados de histórico ou previsões para seus aplicativos.
    • Amazon Kinesis Data Streams para permitir o processamento em tempo real de novos dados nas etapas Consumir, Modelar, Aprimorar e Transformar.
    • Amazon Kinesis Data Firehose para fornecer os resultados das etapas Modelar e Aprimorar para o Amazon S3 para um armazenamento resiliente.
    • Um painel do Amazon CloudWatch para fornecer o monitoramento da transformação de dados, treinamento de modelo e componentes de hospedagem para o endpoint de previsão.
    • Um servidor de bloco de anotações do AWS SageMaker para permitir a exploração de dados usando um bloco de anotações do Jupyter.
    • O AWS Identity and Access Management (IAM) para aplicar o princípio de menor privilégio em cada componente de processamento. A função do IAM e o acesso restrito da política apenas aos recursos necessários.
    • Um cenário de demonstração que cria e atualiza um modelo preditivo para a definição de preço diária do Spot do Amazon Elastic Compute Cloud (Amazon EC2).
  •  Como implantar
  • Você pode desenvolver seu ambiente de Predictive Data Science com o Amazon SageMaker e um data lake na AWS em cerca de 10 a 15 minutos seguindo algumas etapas simples:

    1. Caso ainda não tenha uma conta da AWS, registre-se em https://aws.amazon.com.
    2. Inicie o Quick Start.
    3. (Opcional) Teste a implantação com o cenário de demonstração fornecido.
    4. (Opcional) Treine um modelo de ML por conta própria.
  •  Custo e licenças
  • Você é responsável pelo custo dos serviços da AWS usados durante essa implantação de referência do Quick Start. Não há custo adicional pelo uso do Quick Start.

    O modelo do AWS CloudFormation para este Quick Start inclui parâmetros de configuração personalizáveis. Algumas dessas configurações, como o tipo de instância, afetarão o custo da implantação. Para obter estimativas de custo, leia as páginas de definição de preço de cada serviço da AWS que você usará. Os preços estão sujeitos a alterações.

    Como esse Quick Start usa serviços nativos da AWS, não são necessários licenciamentos adicionais.

  •  Recursos
  • A implantação de referência do Quick Start está relacionada a uma solução em destaque no Espaço de soluções que inclui um resumo da solução, ofertas de consultoria opcionais projetadas por Parceiros de competência da AWS e o investimento conjunto da AWS em projetos de prova do conceito (PoC). Para saber mais sobre esses recursos, acesse o Espaço de soluções.