게시된 날짜: Nov 28, 2022
AWS에서 데이터 통합 워크로드를 더욱 빠르게 실행할 수 있는 새로운 AWS Glue 버전인 AWS Glue 버전 4.0이 발표되었습니다. AWS Glue 4.0에서는 Spark 엔진이 Apache Spark 3.3.0 및 Python 3.10으로 업그레이드되었습니다. 즉, Glue 4.0 사용 고객은 최신 Spark 및 Python 릴리스를 사용할 수 있으므로 더욱 빠르게 데이터 통합 워크로드를 개발/실행/조정하고 인사이트를 수집할 수 있습니다.
AWS Glue는 여러 소스에서 데이터를 간편하게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다. AWS Glue 4.0에서는 기본 제공 Pandas API가 추가로 지원되며 Apache Hudi, Apache Iceberg, Delta Lake 형식도 지원됩니다. 그러므로 데이터 분석 및 저장을 위한 옵션이 추가로 제공됩니다. 또한 RDS, MySQL, SQLServer와 같은 네이티브 AWS Glue 데이터베이스 소스용 커넥터도 업그레이드되어 흔히 사용되는 데이터베이스 소스에 간편하게 연결할 수 있습니다. AWS Glue 4.0은 새로운 Apache Spark용 Cloud Shuffle Storage 플러그인도 추가로 기본 지원합니다. 따라서 고객은 런타임 중에 디스크 사용량을 조정할 수 있습니다. 그리고 실행 중인 쿼리를 동적으로 최적화하는 적응형 쿼리 실행도 지원됩니다. 마지막으로, AWS Glue 4.0에서는 오류 메시지에 컨텍스트가 추가로 제공되므로 개발자의 경험도 개선됩니다. AWS Glue 3.0에서와 마찬가지로 고객은 사용한 리소스에 대해서만 비용을 지불하면 됩니다.
AWS Glue 4.0은 오늘부터 AWS Glue가 제공되는 모든 AWS 리전에서 상용 버전으로 사용 가능합니다(중국 리전과 AWS GovCloud(미국) 리전은 제외).
자세한 내용은 설명서를 참조하세요.