Aurora PostgreSQL, 이제 Apache Iceberg 및 Parquet 데이터 쿼리 지원
오늘부터 추출, 변환, 적재(ETL) 파이프라인이나 데이터 중복 없이 기존 PostgreSQL 애플리케이션과 도구를 사용하여 Apache Iceberg, Parquet 형식으로 데이터 레이크에 저장된 데이터와 함께 운영 데이터를 직접 쿼리할 수 있습니다.
애플리케이션이 더 효과적인 결정을 내리고 비즈니스 프로세스를 자동화하기 위해, 흔히 Apache Iceberg, Parquet 형식으로 저장되는 데이터 레이크의 데이터에 액세스해야 할 필요성이 커지고 있습니다. 액세스를 위해서는 일반적으로 데이터 레이크의 데이터를 Aurora로 복사하는 파이프라인이 필요하므로 스키마가 발전함에 따라 비용과 엔지니어링 업무가 늘어납니다. 이번 출시로 Amazon S3, Amazon S3 Tables 또는 AWS Glue Data Catalog의 Iceberg 또는 Parquet 데이터를 참조하는 PostgreSQL 외부 테이블을 생성할 수 있습니다. 고객이 이러한 외부 테이블을 쿼리하면 Aurora는 PostgreSQL에 내장된 DuckDB의 고성능 쿼리 엔진을 사용하여 기본 Iceberg와 Parquet 데이터에 대해 쿼리를 실행합니다. 기존 애플리케이션과 BI 도구는 동일한 PostgreSQL 인터페이스를 계속 사용합니다.
데이터를 이동하거나 복제하지 않고 AWS Glue Data Catalog를 통해 페더레이션된 외부 Iceberg REST 카탈로그(IRC) 호환 카탈로그에서 테이블을 쿼리할 수도 있습니다. 지연 시간에 민감한 워크로드의 경우 ETL 파이프라인 없이 표준 SQL 문을 사용하여 Iceberg 또는 Parquet 데이터를 네이티브 Aurora PostgreSQL 테이블로 할 수 있습니다.
이 기능은 모든 AWS 상용 및 GovCloud(미국) 리전의 Aurora PostgreSQL 버전 17.11, 18.6 이상에서 추가 비용 없이 정식 버전으로 제공됩니다. 시작하려면 Amazon RDS 콘솔 또는 PostgreSQL 클라이언트를 사용하세요. 자세한 내용은 블로그 게시물 또는 설명서에서 확인하세요.