Come faccio a verificare l'utilizzo delle risorse per la mia istanza del notebook SageMaker?

Ultimo aggiornamento: 10/11/2022

Ho avviato un'istanza del notebook Amazon SageMaker per addestrare modelli o caricare set di dati di grandi dimensioni e l'istanza del notebook sembra bloccata. Come faccio a visualizzare l'utilizzo delle risorse della mia istanza SageMaker?

Risoluzione

Quando si utilizzano le risorse delle istanze del notebook SageMaker per creare prototipi, addestrare modelli o quando si lavora con set di dati di grandi dimensioni, le istanze del browser o del notebook di SageMaker potrebbero non rispondere. Se le istanze del browser o del notebook non rispondono, è possibile visualizzare l'utilizzo delle risorse SageMaker per visualizzarne l'uso corrente.

È possibile visualizzare l'utilizzo delle risorse SageMaker utilizzando uno dei seguenti approcci:

  • Esecuzione di comandi basati su Linux
  • Revisione delle metriche di Amazon CloudWatch

Visualizzazione dell'utilizzo delle risorse SageMaker con i comandi Linux

Le istanze dei notebook SageMaker sono basate su Amazon Linux. È possibile eseguire comandi Linux dal terminale SageMaker per visualizzare l'utilizzo delle risorse SageMaker.

Per eseguire i comandi di SageMaker Linux e visualizzare l'utilizzo delle risorse, procedi come segue:

1. Apri la console di SageMaker.

2. Nel pannello di navigazione, scegli Notebook Instances (Istanze Notebook).

3. Apri Jupyter o JupyterLab accanto all'istanza del notebook SageMaker di tua scelta.

4. Apri il terminale.

5. Esegui i seguenti comandi per visualizzare l'utilizzo delle risorse SageMaker:

top

Il comando precedente mostra la memoria di sistema (RAM) disponibile e il carico del processore.

ps -ax

Il comando precedente mostra le attività in esecuzione e il carico del processore.

df -h

Il comando precedente mostra l'utilizzo e la disponibilità dello spazio su disco.

free -m

Il comando precedente mostra l'utilizzo e la disponibilità della memoria di sistema (RAM).

Visualizzazione dell'utilizzo delle risorse SageMaker con CloudWatch

È possibile utilizzare CloudWatch per visualizzare l'utilizzo delle risorse SageMaker utilizzando uno script di configurazione del ciclo di vita. Ad esempio, lo script publish-instance-metrics pubblica le metriche a livello di sistema dall'istanza del notebook in CloudWatch.

Per configurare l'istanza del notebook SageMaker per visualizzare tutte le metriche di CloudWatch:

1. Apri la console di SageMaker.

2. Nel pannello di navigazione, scegli Notebook Instances (Istanze Notebook).

3. Scegli Apri Jupyter o Jupyterlab accanto all'istanza del notebook SageMaker di tua scelta.

4. Apri il terminale.

5. Inserisci il seguente comando per aprireamazon-cloudwatch-agent-config-wizard:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

6. Segui i passaggi della procedura guidata. Quando richiesto, effettua le seguenti operazioni:

  • Scegli l'host locale
  • Scegli no per StatsD Daemon
  • Scegli no per CollectD

7. Al termine della procedura guidata, viene creato automaticamente un file config.json. Questo file è necessario nella fase successiva.

8. Avvia l'agente CloudWatch sul tuo server con il seguente comando:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:///opt/aws/amazon-cloudwatch-agent/bin/config.json -s

9. Dalla console CloudWatch, scegli Metriche, quindi scegli CWAgent.

10. Il CWAgent mostra le tue attuali metriche SageMaker.

Per ulteriori informazioni sugli esempi di script di configurazione del ciclo di vita di AWS per i notebook SageMaker, consulta amazon-sagemaker-notebook-instance-lifecycle-config-samples.