Perché il mio cluster EMR non esegue il dimensionamento anche se ho attivato il dimensionamento gestito o i parametri di dimensionamento sono stati soddisfatti?

Risoluzione

Di seguito sono riportati i motivi comuni per cui il cluster EMR può non eseguire il dimensionamento anche se il dimensionamento gestito è attivato o i parametri di dimensionamento sono stati soddisfatti:

Le soglie impostate nei parametri di Amazon CloudWatch per il dimensionamento non sono stati soddisfatti

Il dimensionamento automatico dipende dai parametri CloudWatch. Se le soglie dei parametri corrispondenti non vengono soddisfatte per il dimensionamento in verticale o in orizzontale, il dimensionamento non avviene.

Controlla i parametri di Amazon EMR in Amazon CloudWatch per verificare che quelli impostati nelle regole di dimensionamento siano stati compilati. Ad esempio, verifica che ContainerPendingRatio, YARNMemoryAvailablePercentage e così via siano compilati come definito nelle regole di ridimensionamento.

Di seguito sono riportati i motivi comuni per cui i parametri di Amazon EMR non vengono compilati come previsto in CloudWatch:

• Il file /etc/hadoop/conf/hadoop-metrics2.properties non esiste o è danneggiato. Ad esempio, il file potrebbe essere stato sovrascritto da un'operazione di bootstrap personalizzata.
• Potrebbero esserci problemi con i componenti relativi ai parametri come Hadoop, YARN e così via. Esamina i log delle applicazioni corrispondenti per verificare la presenza di errori.
• Per il dimensionamento gestito, verifica che il daemon MetricsCollector sia in esecuzione eseguendo il comando sudo systemctl status MetricsCollector sul nodo primario.

Utilizzi applicazioni che non si basano su YARN

Le applicazioni come Presto che non si basano su YARN utilizzano metodi di dimensionamento basati su parametri generati da YARN. Pertanto, i cluster non eseguiranno il dimensionamento anche se l'utilizzo delle query Presto è elevato. Se utilizzi applicazioni che non si basano su YARN, utilizza il dimensionamento manuale. Ad esempio, puoi impostare l'API di ridimensionamento di Amazon EMR per utilizzare parametri Presto personalizzati.

Lo stato dei gruppi di istanze principali o dell'attività è sospeso o arrestato

I gruppi di istanze principali o dell'attività in stato sospeso o arrestato si bloccano durante il ridimensionamento o il dimensionamento. Per la procedura di risoluzione dei problemi, consulta Stato sospeso.

Le riconfigurazioni fanno sì che i gruppi di istanze si trovino in stato di arresto. Per ulteriori informazioni, consulta Risoluzione dei problemi relativi alla configurazione del gruppo di istanze.

Esistono problemi relativi all'applicazione HDFS in EMR che incidono sul dimensionamento dei nodi principali

È consigliabile mantenere fissi i nodi principali se si verifica quanto segue:

• i dati vengono archiviati in bucket Amazon Simple Storage Service (Amazon S3) e
• l'utilizzo HDFS è minimo.

Dimensiona i nodi attività solo per evitare problemi HDFS.

Il dimensionamento dei nodi principali richiede più tempo rispetto a quello dei nodi attività. Questo perché i nodi principali dispongono di un servizio aggiuntivo (Datanode) che viene utilizzato per archiviare i dati HDFS. La disattivazione dei dati HDFS richiede tempo. Se il tuo caso d'uso richiede il dimensionamento dei nodi principali e il dimensionamento è bloccato, potrebbe esserci un problema con la disattivazione dell'HDFS. Controlla i seguenti elementi per risolvere i problemi di dimensionamento bloccato a causa della disattivazione dell'HDFS:

• Verifica lo stato dei servizi HDFS (Namenode e Datanode).
• Verifica se ci sono blocchi mancanti, danneggiati o con una replica insufficiente eseguendo il comando hdfs dfsadmin -report.
• Verifica se ci sono nodi principali che non sono integri a causa di problemi del disco, della memoria o della CPU.
• Determina se il fattore di replica HDFS è impostato su un numero più alto, ad esempio 3 o 2. Se il fattore di replica è impostato su 3 o 2 e provi a ridurre i nodi principali a 1, il dimensionamento si blocca. Questo perché bisogna mantenere un numero minimo di repliche.

La capacità richiesta non è disponibile in Amazon EMR

Se la capacità richiesta di Amazon Elastic Compute Cloud (Amazon EC2) non è disponibile in Amazon EMR, il dimensionamento fallisce dopo il periodo di timeout. Se il dimensionamento rimane bloccato per un lungo periodo e ricevi errori di capacità insufficiente negli eventi AWS CloudTrail, esegui un dimensionamento manuale. Il blocco del dimensionamento è considerato lungo se è di circa 2 o 3 ore.

---

Informazioni correlate

Utilizzo del dimensionamento automatico con una policy personalizzata per i gruppi di istanze

Ridimensionamento manuale di un cluster in esecuzione

Utilizzo del dimensionamento gestito da EMR in Amazon EMR

Top 9 performance tuning tips for PrestoDB on Amazon EMR (I 9 migliori consigli per l'ottimizzazione delle prestazioni di PrestoDB su Amazon EMR)