Neste tutorial, você aprenderá como usar o Amazon SageMaker para criar, treinar e implantar um modelo de machine learning (ML). Usaremos o conhecido algoritmo XGBoost ML neste exercício. O Amazon SageMaker é um serviço de machine learning modular, totalmente gerenciado, que ajuda desenvolvedores e cientistas de dados a criar, treinar e implantar modelos ML em grande escala.

Costuma ser complexo e demorado passar modelos ML da conceitualização para a produção. Você precisa gerenciar grandes volumes de dados para treinar o modelo, escolher o melhor algoritmo para treiná-lo, gerenciar a capacidade computacional e treiná-la e, depois, implantar o modelo em um ambiente de produção. O Amazon SageMaker reduz essa complexidade, facilitando a criação e implantação de modelos ML. Depois de escolher os algoritmos e as estruturas de trabalho certas entre as diversas opções disponíveis, ele gerencia toda a infraestrutura subjacente para treinar o seu modelo em escala de petabytes e implantá-lo para produção.

Neste tutorial, você assumirá a função de um desenvolvedor de machine learning que trabalha em um banco. Solicitaram que você desenvolva um modelo de machine learning para prever se um cliente se inscreverá para um certificado de depósito (CD). O modelo será treinado no conjunto de dados de marketing que contém informações sobre a demografia do cliente, respostas a eventos de marketing e fatores externos.

Os dados foram rotulados para sua conveniência e uma coluna no conjunto de dados identifica se o cliente está inscrito para um produto oferecido pelo banco. Uma versão deste conjunto de dados está publicamente disponível no repositório ML pré-selecionado pela Universidade da Califórnia, em Irvine. Este tutorial implementa um modelo de machine learning supervisionado porque os dados são rotulados. (a aprendizagem não supervisionada ocorre quando os conjuntos de dados não são rotulados.)

Neste tutorial, você vai:

1. Criar uma instância de bloco de anotações
2. Preparar os dados
3. Treinar o modelo para aprender com os dados
4. Implantar o modelo
5. Avaliar a performance do modelo ML

Quando você clicar aqui, o Console de Gerenciamento da AWS abrirá uma nova janela para que você possa manter aberto este guia detalhado. Em seguida, digite SageMaker na barra de pesquisa e selecione Amazon SageMaker para abrir o console do serviço.

2a. No painel do Amazon SageMaker, selecione Notebook instances (Instâncias do bloco de anotações). 

2b. Na página Create notebook instance (Criar instância do bloco de anotações), insira um nome no campo Notebook instance name (Nome da instância do bloco de anotações). Este tutorial usa MySageMakerInstance como o nome da instância, mas, se preferir você poderá escolher outro nome.

Para este tutorial, você pode manter o tipo de instância de bloco de anotações padrão ml.t2.medium.

Para habilitar a instância de bloco de anotações para acessar e fazer upload seguro de dados no Amazon S3, uma função do IAM deve ser especificada. No campo IAM role (Função do IAM), escolha Create a new role (Criar uma nova função) para que o Amazon SageMaker crie uma função com as permissões necessárias e as atribua à sua instância. Outra opção é escolher uma função do IAM existente na sua conta com essa finalidade.

2c. Na caixa Create an IAM role (Criar uma função do IAM), selecione Any S3 bucket (Qualquer bucket do S3). Isso permite à instância do Amazon SageMaker acessar todos os buckets do S3 na sua conta. Mais adiante neste tutorial, você criará um novo bucket do S3. Caso já tenha um bucket que deseje usar, selecione Specific S3 buckets (Buckets do S3 específicos) e especifique o nome do bucket.

Selecione Create role (Criar função).

2e. Na página Notebook instances (Instâncias de bloco de anotações), você deve ver a nova instância de bloco de anotações MySageMakerInstance no status Pending (Pendente).

A instância de bloco de anotações deve passar do status Pending (Pendente) para InService em menos de dois minutos.

3a. Na página Notebook instances (Instâncias do bloco de anotações), aguarde até a transição de MySageMakerInstance do status Pending (Pendente) para InService.

Quando o status for InService, selecione MySageMakerInstance e abra-o usando o menu suspenso Actions (Ações) ou escolhendo Open Jupyter (Abrir Jupyter) ao lado do status InService.

3b. Quando o Jupyter abrir, na guia Files (Arquivos), escolha New (Novo) e, depois, conda_python3. 

3c. Para preparar os dados, treine o modelo ML e implante-o. Será preciso importar algumas bibliotecas e definir algumas variáveis de ambiente no ambiente de bloco de anotações Jupyter. Copie o seguinte código na célula de código da sua instância e selecione Run (Executar).

Durante a execução do código, aparece um * entre colchetes conforme mostrado na primeira captura de tela à direita. Após alguns segundos, a execução do código será concluída, o * será substituído pelo número 1 e você verá uma mensagem de êxito, conforme mostrado na segunda captura de tela à direita. 

3d. Nesta etapa, você cria um bucket do S3 que armazenará dados para este tutorial.

Copie o seguinte código na próxima célula de código no bloco de anotações e altere o nome do bucket do S3 para torná-lo único. Os nomes de bucket do S3 devem ser globalmente únicos e ter algumas outras restrições e limitações.

Selecione Run (Executar). Se você não receber uma mensagem de êxito, altere o nome do bucket e tente novamente.

3e. Depois, faça download dos dados para a instância do Amazon SageMaker e carregue-a em um quadro de dados. Copie e execute o seguinte código:

3f. Misturaremos os dados, que serão divididos em dados de treinamento e dados de teste.

Os dados de treinamento (70% dos clientes) serão usados durante o ciclo de treinamento de modelos. Usaremos a otimização baseada em gradiente para refinar de forma iterativa o modelo de parâmetros. A otimização baseada em gradiente é uma forma de encontrar valores de parâmetro de modelo que minimizam o erro de modelos, usando o gradiente da função de perda de modelos.

Os dados de teste (30% de clientes restantes) serão usados para avaliar a performance do modelo e medir até que ponto o modelo treinado é generalizado para dados não examinados.

Copie o seguinte código em uma nova célula de código e selecione Run (Executar) para misturar e dividir os dados:

4a. Para usar um modelo XGBoost do Amazon SageMaker pré-criado, você precisará reformatar o cabeçalho e a primeira coluna dos dados de treinamento e carregar os dados do bucket do S3.

Copie o seguinte código em uma nova célula de código e selecione Run (Executar) para reformatar e carregar os dados:

4b. Em seguida, você precisa configurar a sessão do Amazon SageMaker, criar uma instância do modelo XGBoost (um estimador) e definir hiperparâmetros do modelo. Copie o seguinte código em uma nova célula de código e selecione Run (Executar):

4c. Com os dados carregados e o estimador XGBoost configurado, treine o modelo usando a otimização de gradiente em uma instância ml.m4.xlarge, copiando o código a seguir na próxima célula de código e selecionando Run (Executar).

Após alguns minutos, você deve começar a ver os logs de treinamento sendo gerados.

5a. Para implantar o modelo em um servidor e criar um endpoint que você possa acessar, copie o seguinte código na próxima célula de código e selecione Run (Executar):

5b. Para prever se clientes nos dados de teste se inscreveram ou não para produto bancário, copie o seguinte código na próxima célula de código e selecione Run (Executar):

6a. Copie e cole o código a seguir e selecione Run (Executar) para comparar valores reais vs. previstos em uma tabela chamada confusion matrix (matriz de confusão).

Com base na previsão, você pode concluir que previu que um cliente se inscreverá para um certificado de depósito com precisão para 90% dos clientes nos dados de teste, com uma precisão de 65% (278/429) para inscritos e 90% (10,785/11,928) para não inscritos.

7a. Para excluir o endpoint do Amazon SageMaker e os objetos no bucket do S3, copie, cole e Run (Executar) o seguinte código: