Como verifico a utilização de recursos da minha instância de notebook do SageMaker?

Data da última atualização: 10/11/2022

Iniciei uma instância de notebook do Amazon SageMaker para treinar modelos ou carregar grandes conjuntos de dados, e a instância do notebook parece estar congelada. Como vejo o uso dos recursos da minha instância do SageMaker?

Resolução

Ao usar os recursos da instância de notebook do SageMaker para criar protótipos, treinar modelos ou ao trabalhar com grandes conjuntos de dados, as instâncias do navegador ou do notebook do SageMaker podem parecer que não respondem. Se as instâncias do seu navegador ou notebook parecerem não responder, você poderá visualizar a utilização de recursos do SageMaker para ver o uso atual dos recursos.

Você pode visualizar a utilização dos recursos do SageMaker usando uma das seguintes abordagens:

  • Executando comandos baseados em Linux
  • Analisando métricas do Amazon CloudWatch

Visualizando a utilização de recursos do SageMaker com comandos do Linux

As instâncias de notebook do SageMaker são baseadas no Amazon Linux. Você pode executar comandos do Linux a partir do terminal do SageMaker para ver a utilização dos recursos do SageMaker.

Para executar os comandos do SageMaker Linux para visualizar a utilização dos recursos, faça o seguinte:

1. Abra o console do SageMaker.

2. No painel de navegação, escolha Notebook Instances (Instâncias de notebook).

3. Abra Jupyter ou JupyterLab ao lado da instância de notebook do SageMaker de sua escolha.

4. Abra o terminal.

5. Execute os seguintes comandos para visualizar a utilização dos recursos do SageMaker:

top

O comando anterior exibe a memória disponível do sistema (RAM) e a carga do processador.

ps -ax

O comando anterior exibe as tarefas em execução e a carga do processador.

df -h

O comando anterior exibe a utilização e a disponibilidade do espaço em disco.

free -m

O comando anterior exibe a utilização e a disponibilidade da memória do sistema (RAM).

Visualizar a utilização de recursos do SageMaker usando o CloudWatch

Você pode usar o CloudWatch para visualizar a utilização dos recursos do SageMaker usando um script de configuração do ciclo de vida. Por exemplo, o script publish-instance-metrics publica as métricas em nível de sistema da instância de notebook no CloudWatch.

Para configurar sua instância de notebook do SageMaker para visualizar todas as métricas do CloudWatch:

1. Abra o console do SageMaker.

2. No painel de navegação, escolha Notebook Instances (Instâncias de notebook).

3. Escolha Open Jupyter ou Jupyterlab ao lado da instância de notebook do SageMaker de sua escolha.

4. Abra o terminal.

5. Insira o seguinte comando para abrir o amazon-cloudwatch-agent-config-wizard:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

6. Siga as etapas do assistente. Quando solicitado, faça o seguinte:

  • Escolha On-premises host (Host on-premises)
  • Escolha no (não) para StatsD Daemon
  • Escolha no (não) paraCollectD

7. Quando o assistente é concluído, ele cria automaticamente um arquivo config.json. Esse arquivo é usado na próxima etapa.

8. Inicie o agente do CloudWatch em seu servidor com o seguinte comando:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:///opt/aws/amazon-cloudwatch-agent/bin/config.json -s

9. No console do CloudWatch, escolha Metrics (Métricas) e selecione CWAgent.

10. O CWAgent exibe suas métricas atuais do SageMaker.

Para obter mais informações sobre exemplos de scripts de configuração do ciclo de vida da AWS para notebooks do SageMaker, consulte amazon-sagemaker-notebook-instance-lifecycle-config-samples.