Treine um modelo de aprendizagem profunda

com o AWS Deep Learning Containers no Amazon EC2

O AWS Deep Learning Containers (DL Containers) consiste em imagens do Docker com estruturas de aprendizagem profunda pré-instaladas para facilitar a rápida implantação de ambientes personalizados de machine learning, evitando que você tenha de se preocupar com o processo complicado de criar e otimizar ambientes do zero.

Desenvolvedores e cientistas de dados podem usar o AWS DL Containers para adicionar rapidamente machine learning a aplicativos conteinerizados, implantados no Amazon Elastic Container Service for Kubernetes (Amazon EKS), em Kubernetes autogerenciados, no Amazon Elastic Container Service (Amazon ECS) e no Amazon EC2.

Neste tutorial, você treinará um modelo de machine learning do TensorFlow em uma instância do Amazon EC2 usando o AWS Deep Learning Containers.

Sobre este tutorial
Duração 10 minutos                                           
Custo Menos de 1 USD
Caso de uso Machine Learning
Produtos AWS Deep Learning Containers, Amazon EC2 e Amazon ECR
Público Desenvolvedores, cientistas de dados
Nível Iniciante
Data da última atualização 27 de março de 2019

1. Cadastre-se na AWS

Você precisa de uma conta da AWS para seguir este tutorial. Não há cobrança adicional pelo uso do AWS Deep Learning Containers neste tutorial. Você paga apenas pela instância c5.large da Amazon usada neste tutorial, o que totalizará menos de 1 USD após a execução das etapas de finalização no final deste tutorial. 

2. Adicione permissões para acessar o Amazon ECR

As imagens AWS Deep Learning Container são hospedadas no Amazon Elastic Container Registry (ECR), um registro gerenciado de contêineres do Docker que permite que desenvolvedores armazenem, gerenciem e implantem facilmente imagens de contêineres do Docker. Nesta etapa, você concederá a um usuário do IAM existente permissões para acessar o Amazon ECR (usando AmazonECS_FullAccess Policy).

Se você não tiver um usuário do IAM, consulte a documentação do IAM para obter mais informações.

a. Navegue até o console do IAM

Abra o Console de Gerenciamento da AWS para poder manter este guia detalhado aberto. Quando a tela carregar, digite seu nome de usuário e senha para começar. Em seguida, digite IAM na barra de pesquisa e selecione IAM para abrir o console do serviço.

AWS Management Console

b. Selecione usuários

Selecione Users (Usuários) no painel de navegação à esquerda.

3b-new

c. Adicione permissões

Agora, você adicionará permissões para um novo usuário do IAM que você criou ou para um usuário existente do IAM. Clique em Add Permissions (Adicionar permissões) na página de resumo de usuários do IAM.

3c

d. Adicione a política de acesso completo do ECS

Clique em Attach existing policies directly (Associar diretamente políticas existentes) e busque ECS_FullAccess. Selecione a política Amazon_FullAccess e clique até Review (Revisar) e Add Permissions (Adicionar permissões).

3d-new

e. Adicione uma política em linha

Na página de resumo de usuários do IAM, clique em Add inline policy (Adicionar política em linha).

3e-new

f. Cole a política de JSON

Selecione a guia JSON e cole a seguinte política:

{
       "Version": "2012-10-17",
       "Statement": [
              {
                     "Action": "ecr:*",
                     "Effect": "Allow",
                     "Resource": "*"
              }
       ]
}

Salve essa política como “ECR” e clique em Create Policy (Criar política).

 

3f-new

3. Execute uma instância com a AMI básica do AWS Deep Learning

Neste tutorial, usaremos o AWS Deep Learning Containers em uma imagem de máquina da Amazon (AMI) básica do AWS Deep Learning. Essa AMI inclui as dependências necessárias, como drivers da Nvidia, docker e nvidia-docker. Você pode executar o Deep Learning Containers em qualquer AMI com esses pacotes.

a. Navegue até o console do EC2

Volte à tela inicial do Console de Gerenciamento da AWS, insira EC2 na barra de pesquisa e selecione EC2 para abrir o console do serviço.

step_2

b. Inicie uma instância do Amazon EC2

Navegue novamente até o console do Amazon EC2 e clique no botão Launch Instance (Executar instância).

step_4a-new

c. Selecione a AMI básica do AWS Deep Learning

Selecione a guia AWS Marketplace à esquerda e procure “deep learning base ubuntu”. Selecione a Deep Learning Base AMI (Ubuntu) (AMI básica de aprendizagem profunda, Ubuntu). Você também pode selecionar a Deep Learning Base AMI (Amazon Linux) (AMI básica de aprendizagem profunda, Amazon Linux).

step_4b-new

d. Selecione o tipo de instância

Escolha um tipo de instância do Amazon EC2. O Amazon Elastic Compute Cloud (EC2) é o serviço da Amazon Web Services usado para criar e executar máquinas virtuais na nuvem. A AWS denomina essas máquinas virtuais como “instâncias”.

Neste tutorial, usaremos uma instância c5.large, mas é possível escolher tipos de instância adicionais, incluindo instâncias P3 baseadas em GPU.

Clique em Review and Launch (Revisar e executar).

step_4c-new

e. Execute a instância

Revise os detalhes da instância e clique em Launch (Executar).

step_4d-new

f. Crie um novo arquivo de chave privada

Na próxima tela, você deverá escolher um par de chaves existente ou criar um novo. Um par de chaves é usado para acessar a instância com segurança usando SSH. A AWS armazena a parte pública do par de chaves, que é como uma fechadura residencial. Você faz download e usa a parte privada do par de chaves, que é como uma chave residencial.

Clique em Create a new key pair (Criar um novo par de chaves) e dê a ele um nome. Clique em Download Key Pair (Fazer download do par de chaves) e armazene a chave em um local seguro. Se perder a chave, você não poderá acessar a sua instância. Se outra pessoa conseguir acesso à sua chave, poderá acessar a sua instância.

Se você já criou um arquivo de chave privada e ainda tem acesso a ele, poderá usar essa chave privada clicando em Choose an existing key pair (Escolher um par de chaves existente).

step_4e-new

g. Veja os detalhes da instância

Selecione o ID da instância para ver os detalhes da instância do Amazon EC2 recém-criada no console. 

step_4f-new

4. Conecte-se à instância

Nesta etapa, você se conectará à instância em execução usando SSH. As instruções abaixo usam um ambiente Mac/Linux. Se você estiver usando o Windows, siga a etapa 4 deste tutorial.

a. Localize e copie o DNS público da instância

Na guia Description (Descrição), copie o DNS público (IPv4) da sua instância do Amazon EC2.

step_5a-new

b. Abra o terminal de linha de comando

No terminal, use os comandos a seguir para alterar o diretório no qual está a chave de segurança e conecte-se à sua instância usando SSH.

cd /Users/<your_username>/Downloads/

chmod 0400 <your .pem filename>

ssh -L localhost:8888:localhost:8888 -i <your .pem filename> ubuntu@<your instance DNS>
step_5b-new

5. Faça login no Amazon ECR

As imagens AWS Deep Learning Container são hospedadas no Amazon Elastic Container Registry (ECR), um registro gerenciado de contêineres do Docker que permite que desenvolvedores armazenem, gerenciem e implantem facilmente imagens de contêineres do Docker. Nesta etapa você fará login e verificará o acesso ao Amazon ECR.

a. Configure sua instância do EC2 com suas credenciais da AWS

Você precisa informar o seu ID de chave de acesso e a chave de acesso secreta da AWS. Se você ainda não tiver essas informações, poderá criar um ID de chave de acesso e uma chave de acesso secreta aqui.

step_6a-new

b. Faça login no Amazon ECR

Você usará o comando abaixo para fazer login no Amazon ECR:

$(aws ecr get-login --region us-east-1 --no-include-email --registry-ids 763104351884)

Observação: você precisa incluir o “$” e os parênteses no comando. Quando esta etapa concluir, você verá “Login Succeeded” (Login bem-sucedido).

 

step_6b-new

6. Execute o treinamento do TensorFlow com o Deep Learning Containers

Nesta etapa, usaremos uma imagem do AWS Deep Learning Container para treinamento do TensorFlow em instâncias de CPU com o Python 3.6.

a. Execute o AWS Deep Learning Containers

Agora, você executará imagens do AWS Deep Learning Container em sua instância do EC2 usando o comando abaixo. Esse comando obterá automaticamente a imagem do Deep Learning Container, se não existir localmente.

docker run -it 763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-training:1.13-cpu-py36-ubuntu16.04

Observação: essa etapa poderá demorar alguns minutos, dependendo do tamanho da imagem. Se você estiver usando uma instância de GPU, use “nvidia-docker” em vez de “docker”. Após a conclusão bem-sucedida desta etapa, você informará um prompt do bash para o seu contêiner.

 

7a-new

b. Obtenha um modelo de exemplo para treinar

Clonaremos o repositório do Keras, que inclui exemplos de scripts Python para treinar modelos.

git clone https://github.com/fchollet/keras.git
7b-new

c. Comece o treinamento

Comece a treinar o modelo canônico MNIST CNN com o seguinte comando:

python keras/examples/mnist_cnn.py

Você iniciou o treinamento com o AWS Deep Learning Container.

 

7c-new

7. Encerrar seus recursos

Nesta etapa, você encerrará a instância do Amazon EC2 que criou durante este tutorial.

Importante: o encerramento de recursos que não estão sendo usados ativamente reduz custos e é uma melhor prática. Se os recursos não forem encerrados, sua conta poderá ser cobrada.

a. Selecione a instância em execução

No console do Amazon EC2, clique em Running Instances (Instâncias em execução).

 

8a-new

b. Encerre a sua instância do EC2

Selecione a instância do EC2 que você criou e clique em Actions > Instance State > Terminate (Ações > Estado da instância > Encerrar).

8b-new

c. Confirme o encerramento

Você será solicitado a confirmar o encerramento. Clique em Yes, Terminate (Sim, encerrar).

Observação: este processo pode levar vários segundos. Após o encerramento, o estado da instância passará a terminated (encerrado) no console do EC2.

 

8c-new

Parabéns

Você treinou com êxito um modelo do MNIST CNN usando o TensorFlow e o AWS Deep Learning Containers.

Você pode usar o AWS DL Containers para treinamento e inferência em recursos de CPU e GPU no Amazon EC2, no Amazon ECS, no Amazon EKS e no Kubernetes.

Use essas imagens estáveis de aprendizagem profunda, que foram otimizadas para performance e escala na AWS, para criar seus próprios ambientes personalizados de aprendizagem profunda.

Este tutorial foi útil para você?

Agradecemos a sua atenção
Gostaríamos de saber do que você gostou.
Fechar
Desculpe por ter desapontado
Encontrou algo desatualizado, confuso ou incorreto? Envie seus comentários para nos ajudar a melhorar este tutorial.
Fechar