게시된 날짜: Aug 15, 2023
Amazon EMR Serverless는 데이터 분석가와 엔지니어가 클러스터 또는 서버를 구성, 관리 및 확장할 필요 없이 Apache Spark, Apache Hive 등의 오픈 소스 빅 데이터 분석 프레임워크를 간편하게 실행할 수 있도록 지원하는 Amazon EMR용 서버리스 옵션입니다. 오늘부터 Apache Spark 작업 문제를 보다 간단하게 해결할 수 있도록 드라이버 및 실행기 로그에 대해 세분화된 로그 구성을 지정할 수 있게 되었습니다.
개발자는 효율적인 모니터링 및 디버깅을 위해 작업에 대한 심층적인 인사이트를 확보할 수 있도록 로그를 분석해야 하는 경우가 많습니다. 하지만 Spark의 기본 로그 설정이 너무 자세하여 관련 로그 항목을 찾기가 어려울 수 있습니다. Spark는 Log4j2를 사용하여 로그를 구성합니다. 이 기능을 통해 각 EMR Serverless 작업 실행에 대해 Spark 드라이버 및 실행기 로그에 대한 사용자 지정 Log4j2 설정을 지정할 수 있습니다. 예를 들어 Spark의 기본 로그 수준을 'ERROR'로 설정하여 Spark에 대한 최소 로그를 가져오고, 코드의 로그 수준을 'INFO'로 설정하여 코드에 대한 자세한 로그를 가져오고, 디버깅하려는 라이브러리의 로그 수준을 'DEBUG'로 설정하여 해당 라이브러리에 대한 더 자세한 로그를 얻을 수 있게 됨에 따라 로그를 더 효과적으로 분석하여 의미 있는 인사이트를 얻을 수 있습니다.
이 기능은 EMR 릴리스 버전 6.8.0 이상에서 지원되며 Amazon EMR Serverless가 제공되는 모든 리전에서 사용할 수 있습니다. 자세히 알아보려면 Log4j2 구성 페이지를 참조하세요.