AWS Glue 5.1 발표
이제 AWS Glue 5.1의 정식 버전이 출시되어 향상된 성능, 보안 업데이트, 확장된 Apache Iceberg 기능, 그리고 데이터 통합 워크로드를 위한 AWS Lake Formation 쓰기 지원을 제공합니다.
AWS Glue는 여러 소스에서 데이터를 간편하게 검색, 준비, 이동 및 통합할 수 있게 하는 확장 가능한 서버리스 데이터 통합 서비스입니다. 이번 릴리스에서는 코어 엔진을 Apache Spark 3.5.6, Python 3.11 및 Scala 2.12.18로 업그레이드하여 성능과 보안을 개선합니다. Apache Hudi 1.0.2, Apache Iceberg 1.10.0, Delta Lake 3.3.2를 포함한 오픈 테이블 형식 라이브러리에 대한 지원도 업데이트합니다.
AWS Glue 5.1은 Apache Iceberg 형식 버전 3.0 지원을 도입하여 기본 열 값, 병합 읽기 테이블용 삭제 벡터, 다중 인수 변환 및 행 계보 추적 기능을 추가합니다. 또한 이번 릴리스는 AWS Lake Formation의 세분화된 액세스 제어를 Spark DataFrames와 Spark SQL의 쓰기 작업(DML 및 DDL 모두 포함)으로 확장합니다. 이전에는 이 기능을 읽기 작업에만 사용할 수 있었습니다. 또한 AWS Glue 5.1은 Apache Spark에 Apache Hudi 및 Delta Lake 테이블에 대한 전체 테이블 액세스 제어를 추가하여 데이터에 대한 보다 포괄적인 보안 옵션을 제공합니다.
AWS Glue 5.1은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 유럽(아일랜드), 유럽(스톡홀름), 유럽(프랑크푸르트), 유럽(스페인), 아시아 태평양(홍콩), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아시아 태평양(말레이시아), 아시아 태평양(태국), 아시아 태평양(뭄바이), 남아메리카(상파울루)에서 사용할 수 있습니다. 자세한 내용은 AWS Glue 설명서를 참조하세요.