AWS Glue, REST API 커넥터에 대한 VPC 지원, 필터 푸시다운, 파티션 지원 발표
AWS Glue가 이제 REST API 커넥터에 대한 VPC 연결, 필터 푸시다운, 파티션 지원을 제공합니다. REST API 커넥터를 사용하면 기본 AWS Glue 커넥터가 없는 새로운 플랫폼, 독점 시스템을 포함하여 REST 기반 API를 공개하는 모든 소스에서 데이터를 수집할 수 있습니다. 이번 출시를 통해 별도의 코드를 쓰지 않고도 전용 엔드포인트에 안전하게 연결하고, 필요한 데이터만 전송하며, 읽기 작업을 병렬화하여 더 빠르게 데이터를 수집함으로써 REST API 엔드포인트가 있는 데이터 소스에서 ETL 파이프라인을 운영할 수 있습니다.
VPC 지원을 통해 REST API 커넥터를 사용하여 공용 인터넷에 트래픽을 노출하지 않고도 프라이빗 서브넷에 호스팅되거나 VPN 또는 AWS PrivateLink를 통해 연결된 데이터 소스에 액세스할 수 있습니다. 필터 푸시다운은 쿼리 조건을 API 네이티브 파라미터로 변환하므로, 일치하는 레코드만 소스에서 전송되어 데이터 전송 비용을 줄이고 작업 성능을 개선합니다. 파티션 지원은 필드 기반 또는 레코드 수 기반 전략을 사용하여 대규모 데이터세트를 여러 Spark 워커에 분산해 병렬 읽기를 제공함으로써 페이지가 매겨진 대용량 API의 데이터 수집 시간을 단축합니다.
이러한 기능은 AWS Glue가 제공되는 모든 AWS 상용 리전에서 사용할 수 있습니다.
시작하려면 AWS Glue REST API 커넥터 설명서를 참조하세요.