Amazon EMR Serverless의 서버리스 스토리지, 이제 테라바이트 규모의 셔플 지원
Amazon EMR Serverless가 이제 최대 1TB의 셔플 작업을 지원하는 향상된 서버리스 스토리지 기능을 제공합니다(이전의 작업당 200GB 제한 상향). Amazon EMR Serverless는 데이터 엔지니어와 데이터 과학자가 클러스터나 서버를 구성, 관리, 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 해줍니다. 이번 향상 기능을 통해 기업 고객은 조인, 집계, 정렬 같은 복잡한 작업 중 대량의 셔플 데이터 처리를 필요로 하는 프로덕션 규모의 Apache Spark 워크로드를 실행할 수 있습니다.
기업 데이터 팀은 이제 스토리지 제약에 대한 걱정 없이 테라바이트 규모의 데이터세트를 정기적으로 처리하는 프로덕션 워크로드를 자신 있게 마이그레이션할 수 있습니다. 이 향상 기능은 수 테라바이트 크기의 데이터세트에 걸친 대형 테이블 조인, 폭넓은 데이터 셔플링을 요하는 카디널리티 높은 데이터의 복잡한 집계 작업 등의 워크로드에 특히 유용합니다. 유출 지원이 추가되면, 필요에 따라 데이터를 디스크에 오프로드하여 메모리 집약적인 작업을 원활하게 처리할 수 있으므로, 까다로운 분석 워크로드에 대한 작업 신뢰성과 성공률이 향상됩니다.
이 기능은 Amazon EMR Serverless가 제공되는 18개 AWS 리전의 Amazon emr-7.14, emr-spark-8.1 이상에서 사용할 수 있습니다. 지원되는 리전의 전체 목록과 각각에 적용되는 제한은 Amazon EMR 설명서를 참조하세요.
Amazon EMR Serverless에 대해 자세히 알아보고 테라바이트 규모의 셔플 지원을 시작하려면 Amazon EMR Serverless 페이지를 방문하세요.