Pourquoi mes instances Spot EMR ne sont-elles pas provisionnées lors du redimensionnement d'un cluster ?

Résolution

Amazon Elastic Compute Cloud (Amazon EC2) peut interrompre votre instance Spot à tout moment pour les raisons suivantes :

• Manque de capacité Spot.
• Les contraintes de demande ne peuvent pas être respectées.
• Le prix de Spot est supérieur au prix maximum désigné.
• Le quota de votre compte Spot est épuisé. Dans ce cas, vous pouvez demander une augmentation.

Pour plus d'informations, consultez Pourquoi Amazon EC2 a-t-il interrompu mon instance Spot ?

**Remarque :**Il est recommandé d'utiliser des instances Spot pour des charges de travail indépendantes, tolérantes aux pannes et suffisamment flexibles pour résister aux interruptions.

De plus, les instances Spot et les instances à la demande peuvent ne pas être redimensionnées car les scripts bootstrap ont été modifiés ou contiennent des erreurs.

Consultez les journaux du script bootstrap à l'adresse /emr/instance-controller/log/bootstrap-actions ou s3://cluster_id/node-failed/bootstrap-actions/stderr.gz. Les journaux affichent l'erreur STARTUP_SCRIPT_FAILED_RET_CODE.

Par exemple, le journal des actions bootstrap suivant indique que l'action bootstrap 1 (emr_bootstrap_actions.sh) a échoué :

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

Si l'erreur précédente s'affiche, les actions suivantes se produiront :

• Tous les nouveaux nœuds de remplacement se terminent.
• Le nœud arrête de provisionner de nouvelles instances de remplacement.
• Le groupe d'instance du nœud principal passe en mode arrêté comme illustré dans l'exemple suivant :

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

Informations connexes

Interruptions d'instances Spot

État de la demande de Spot

Bonnes pratiques relatives aux instances Spot

Pourquoi mon instance Spot se termine alors que le prix maximum est supérieur au prix Spot ?