La tâche My Apache Hadoop dans Amazon EMR a échoué avec le message d’erreur " Timeout waiting for connection from pool (Délai d’attente de connexion du pool expiré). "

Cette erreur se produit généralement lorsque vous atteignez la limite de connexion EMRFS (Amazon EMR File System) pour Amazon S3 (Amazon Simple Storage Service). Pour résoudre cette erreur, augmentez la valeur de la propriété fs.s3.maxConnections. Vous pouvez le faire pendant que votre cluster est en cours d’exécution ou lorsque vous créez un nouveau cluster.

Augmenter la valeur de fs.s3.maxConnections sur un cluster en cours d’exécution

1.    Connectez-vous au nœud maître à l'aide de SSH.

2.    Ouvrez le fichier emrfs-site.xml en tant que sudo. Ce fichier se trouve dans le répertoire /usr/share/aws/emr/emrfs/conf.

sudo vi /usr/share/aws/emr/emrfs/conf/emrfs-site.xml

3.    Réglez la propriété fs.s3.maxConnections sur une valeur supérieure à 50. Dans l’exemple suivant, la valeur est définie sur 100. Vous devrez peut-être choisir une valeur supérieure, en fonction du nombre de connexions S3 simultanées dont vos applications ont besoin.
Remarque : si vous lancez votre cluster avec Apache HBase, la valeur fs.s3.maxConnections est réglée sur 1000 par défaut. Si l’augmentation de la valeur de fs.s3.maxConnections ne permet pas de résoudre l’erreur liée à l’expiration du délai d’attente, vérifiez les éventuelles fuites de connexion de vos applications.

<property>
  <name>fs.s3.maxConnections</name>
  <value>100</value>
</property>

4.    Recommencez les étapes 2 et 3 sur tous les cœurs et nœuds de tâches. Utilisez la même valeur fs.s3.maxConnections que celle que vous avez utilisé sur le nœud maître.

5.    Exécutez à nouveau la tâche Hadoop. Votre application doit utiliser une nouvelle valeur pour fs.s3.maxConnections sans redémarrage du service.

Augmenter la valeur de fs.s3.maxConnections sur un nouveau cluster

Pour régler la valeur de la propriété fs.s3.maxConnections sur tous les nœuds lorsque vous lancez un nouveau cluster, utilisez un objet de configuration semblable à ce qui suit. Pour plus d'informations, consultez Configuration des applications.

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.maxConnections": "100",
      }
    }
 ]

Cette page vous a-t-elle été utile ? Oui | Non

Retour au Centre de connaissances AWS Support

Vous avez besoin d'aide ? Consultez le site du Centre AWS Support

Date de publication :28/01/2019