게시된 날짜: Jun 13, 2023
EMR on EKS에서 Apache Spark 작업을 실행할 때 컨테이너 로그 교체를 제어하는 기능이 발표되었습니다. Amazon EMR on EKS를 사용하는 고객은 Amazon EKS에서 Apache Spark와 같은 오픈 소스 빅 데이터 프레임워크를 실행할 수 있습니다. 이제 고객은 컨테이너 로그 교체를 활성화하여 로그 파일이 너무 많아 포드 실행 성능이 저하되는 현상을 방지할 수 있습니다.
Spark 스트리밍과 같은 장기 실행 Spark 작업에서는 디스크 공간 부족 문제가 발생하여 성능이 저하되거나 작업이 실패할 수도 있으며 Kubernetes 포드에서 로그를 수동으로 삭제해야 할 수도 있습니다. 이번에 로그 교체가 지원됨에 따라 고객은 이제 컨테이너 로그 교체를 활성화하고 Spark 드라이버/실행기 포드에 보관할 로그 파일 수를 사용자 지정할 수 있습니다. 또한 각 로그 파일의 최대 크기도 설정할 수 있습니다.
컨테이너 로그 교체에 대해 자세히 알아보려면 설명서의 컨테이너 로그 교체 섹션을 참조하세요. Apache Spark의 컨테이너 로그 교체 기능은 Amazon EMR on EKS 6.11 이상 릴리스에서 지원되며 Amazon EMR on EKS가 현재 제공되는 모든 리전에서 사용할 수 있습니다.