Amazon EMR Serverless, Apache Spark 워크로드에 대한 로컬 스토리지 프로비저닝 제거
Amazon EMR Serverless는 이제 Apache Spark 워크로드에 대한 로컬 스토리지 프로비저닝이 필요 없는 서버리스 스토리지를 제공하며 데이터 처리 비용을 최대 20%까지 줄이고 디스크 용량 제약으로 인한 작업 실패를 방지합니다. 더 이상 각 애플리케이션에 따라 로컬 디스크 유형 및 크기를 구성할 필요가 없습니다. EMR 서버리스는 로컬 스토리지 요금 없이 셔플과 같은 중간 데이터 작업을 자동으로 처리합니다. 작업에서 사용한 컴퓨팅 및 메모리 리소스에 대해서만 비용을 지불하면 됩니다.
EMR 서버리스는 중간 데이터 작업을 작업 수준의 격리를 통해 전송 중인 데이터와 저장된 데이터를 암호화하는 완전관리형 자동 확장 서버리스 스토리지로 오프로드합니다. 서버리스 스토리지는 스토리지를 컴퓨팅에서 분리함으로써 Spark가 임시 데이터를 보존하기 위해 작업자를 활성 상태로 유지하는 대신 유휴 상태일 때 작업자를 즉시 해제하도록 합니다. 이는 디스크 용량 부족으로 인한 작업 실패를 방지하고 유휴 작업자 비용을 없애 비용을 절감합니다. 이는 수백만 건의 고객 상호 작용을 처리하는 추천 엔진과 같이 초기 단계에서 높은 병렬 처리로 대규모 데이터세트를 처리한 후 데이터 집계 범위를 좁히는 동적 리소스 할당을 사용하는 작업에 특히 유용합니다.
이 기능은 일반적으로 EMR 릴리스 7.12 이상에서만 사용할 수 있습니다. 사용 가능 여부는 지원되는 AWS 리전을 참조하세요. 시작하려면 EMR 서버리스용 서버리스 스토리지 설명서를 참조하세요.