AWS Glue, 더 크고 메모리 집약적인 워크로드를 위한 새로운 워커 지원
AWS Glue는 다양한 데이터 통합 및 데이터 처리 요구 사항을 충족하기 위해 새로운 워커 유형을 추가로 제공합니다. 새롭게 도입된 워커에는 더 큰 일반 컴퓨팅 워커인 G.12X 및 G.16X와 메모리 집약적인 AWS Glue 워크로드를 위한 4개의 새로운 메모리 최적화 워커인 R.1X, R.2X, R.4X 및 R.8X가 포함되어 있습니다. 이제 Glue 고객은 더 복잡한 변환, 집계, 조인, 쿼리를 처리할 수 있으며, Apache Spark를 사용하여 더 많은 데이터 볼륨을 빠르게 처리할 수 있습니다.
새로운 G.12X 및 G.16X 워커는 기존 G 워커 제품군을 확장한 것으로, 더 많은 컴퓨팅, 메모리, 스토리지를 제공합니다. 이러한 워커는 리소스 집약적 대규모 워크로드를 보유한 고객에게 적합합니다. 새로운 R.1X, R.2X, R.4X 및 R.8X 워커는 G 워커와 비교하여 두 배의 메모리를 제공하므로 캐싱, 셔플링, 집계와 같은 메모리 집약적인 Spark 작업 워크로드에 적합합니다. 고객은 AWS Glue Studio에서 노트북이나 Visual ETL을 사용하거나 Glue Job API를 통해 새로운 워커 유형을 선택할 수 있습니다.
새로운 워커 유형과 사용 가능한 AWS 리전에 대한 자세한 내용은 AWS Glue 설명서에서 확인하세요.