Amazon EMR의 Apache Hadoop 작업이 오류 메시지 "풀과의 연결 대기 시간 초과" 오류와 함께 실패합니다.

이 오류는 보통 Amazon Simple Storage Service(Amazon S3)에 대한 Amazon EMR File System(EMRFS) 연결 한도에 도달했을 때 발생합니다. 이 오류를 해결하려면 fs.s3.maxConnections 속성의 값을 증가시킵니다. 값은 클러스터가 실행 중일 때 또는 새 클러스터를 생성할 때 변경할 수 있습니다.

실행 중인 클러스터의 fs.s3.maxConnections 값 증가

1.    SSH를 사용하여 마스터 노드에 연결합니다.

2.    emrfs-site.xml 파일을 sudo로 엽니다. 이 파일은 /usr/share/aws/emr/emrfs/conf 디렉터리에서 찾을 수 있습니다.

sudo vi /usr/share/aws/emr/emrfs/conf/emrfs-site.xml

3.    fs.s3.maxConnections 속성의 값을 50보다 크게 설정합니다. 다음 예에서는 값이 100으로 설정됩니다. 애플리케이션에 필요한 동시 S3 연결 수에 따라 더 높은 값을 선택해야 할 수도 있습니다.
참고: Apache HBase와 함께 클러스터를 시작하는 경우 기본적으로 fs.s3.maxConnections 값은 1000으로 설정됩니다. fs.s3.maxConnections 값을 증가시켜도 시간 초과 오류가 해결되지 않는 경우 애플리케이션에 연결 누출이 있는지 확인하십시오.

<property>
  <name>fs.s3.maxConnections</name>
  <value>100</value>
</property>

4.    모든 코어 및 작업 노드에 단계 2와 3을 반복합니다. 마스터 노드에서 사용한 것과 동일한 fs.s3.maxConnections 값을 사용하십시오.

5.    Hadoop 작업을 다시 실행합니다. 애플리케이션은 서비스를 다시 시작하지 않고 fs.s3.maxConnections에 대한 새 값을 사용해야 합니다.

새 클러스터의 fs.s3.maxConnections 값 증가

새 클러스터를 시작할 때 모든 노드의 fs.s3.maxConnections 속성 값을 설정하려면 다음과 유사한 구성 객체를 사용합니다. 자세한 정보는 애플리케이션 구성을 참조하십시오.

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.maxConnections": "100",
      }
    }
 ]

페이지 내용이 도움이 되었습니까? | 아니요

AWS 지원 지식 센터로 돌아가기

도움이 필요하십니까? AWS 지원 센터를 방문하십시오.

게시 날짜: 2019년 1월 28일