AWS Glue, 이제 Apache Iceberg 기반의 구체화된 뷰 지원
이제 AWS Glue에서 데이터 팀이 더 쉽게 데이터를 변환하고 쿼리 성능을 가속화할 수 있게 해주는 신규 기능인 구체화된 뷰를 지원합니다. 구체화된 뷰는 사전 계산된 쿼리 결과를 Apache Iceberg 형식으로 저장하고 소스 데이터가 변경되면 자동으로 최신 상태로 유지하는 AWS Glue Data Catalog의 관리형 테이블입니다. 이 기능은 데이터 엔지니어와 분석 팀이 원시 데이터에서 최종 분석 테이블에 이르기까지 여러 단계를 거쳐 데이터를 쉽게 변환하면서 엔지니어링 노력과 운영 오버헤드를 줄일 수 있도록 설계되었습니다.
이제 고객은 데이터 새로 고침 일정으로 표준 Spark SQL 구문을 사용하여 구체화된 뷰를 생성할 수 있습니다. 이 서비스는 새로 고침 일정, 변경 감지, 증분 업데이트 및 컴퓨팅 인프라 관리를 자동으로 처리합니다. Amazon Athena, Amazon EMR 및 AWS Glue의 Spark 엔진은 이러한 구체화된 뷰를 사용하도록 쿼리를 지능적으로 재작성하여 컴퓨팅 비용을 절감하는 동시에 성능을 최대 8배까지 가속화합니다. Athena와 Redshift와 같은 SQL 쿼리 엔진을 사용하여 SQL 편집기와 Amazon SageMaker 노트북에서 Iceberg 테이블로 구체화된 뷰에 액세스할 수 있습니다.
AWS Glue의 구체화된 뷰는 유럽(스톡홀름), 아시아 태평양(태국), 아시아 태평양(뭄바이), 유럽(파리), 미국 동부(오하이오), 유럽(아일랜드), 유럽(프랑크푸르트), 남아메리카(상파울루), 아시아 태평양(홍콩), 미국 동부(버지니아 북부), 아시아 태평양(서울), 아시아 태평양(말레이시아), 유럽(런던), 아시아 태평양(도쿄), 미국 서부(오리건), 미국 서부(캘리포니아 북부), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 캐나다(중부), 유럽(스페인) 등의 리전에서 사용할 수 있습니다. 자세히 알아보려면 AWS Glue 개발자 안내서의 구체화된 뷰 작업을 참조하세요.