게시된 날짜: Feb 13, 2024
오늘 Amazon EMR on EC2는 고객이 지난 7일 이내에 완료된 단계를 최대 10,000개까지 볼 수 있는 DescribeStep 및 ListStep API의 향상된 기능을 발표했습니다. 이는 이전의 한도인 1,000개의 단계에서 증가한 수치입니다. 또한 지난 2개월 동안의 1,000개 단계에 대한 검색도 계속 지원할 예정입니다. 이러한 API 개선 덕분에 완료된 단계에 대한 가시성이 향상되고 단계 워크플로를 더욱 쉽게 모니터링하고 관리할 수 있습니다.
Amazon EMR은 Apache Spark, Presto 및 Trino, Apache Flink 등의 오픈 소스 프레임워크를 사용하는 데이터 처리, 대화식 분석 및 기계 학습용 클라우드 빅 데이터 플랫폼입니다. 이 개선 사항은 단계 상태를 검토하고 조정하여 적절한 단계 실행을 보장하고 디버깅에 도움을 주는 간소화된 방법을 제공함으로써 단기 실행 단계가 많은 고객의 경험을 간소화합니다. 클러스터가 7일 이내에 10,000개 이상의 단계를 수신하는 경우, COMPLETED, CANCELLED 또는 FAILED 상태의 비활성 사용자가 제출한 단계가 가장 오래된 단계부터 시간순으로 제거됩니다.
이 개선 사항은 모든 EMR 릴리스에서 지원되며 Amazon EMR이 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 사용자가 취해서야 추가 조치는 없습니다. 단계 보기에 대한 자세한 내용은 단계 보기 및 API DescribeStep 설명서를 참조하세요.