AWS Glue 스트리밍 ETL 작업, Apache Avro 형식으로 읽기 레코드 지원

게시된 날짜: Oct 15, 2020

이제 AWS Glue의 스트리밍 추출, 변환 및 로드(ETL) 작업에서 Apache Avro 형식으로 암호화된 데이터를 읽을 수 있습니다. 이전의 스트리밍 ETL 작업에서는 JSON, CSV, Parquet 및 XML 형식으로만 데이터를 읽을 수 있었습니다. Avro를 추가함으로써 스트리밍 ETL 작업은 이제 배치 AWS Glue 작업과 동일한 형식을 모두 지원하게 되었습니다.

AWS Glue 스트리밍 ETL 작업은 스트리밍 소스의 데이터를 지속적으로 사용하고 데이터를 정리 및 변환하여 몇 초 만에 분석에 사용할 수 있도록 합니다. 스키마 진화 및 빠른 직렬화와 역직렬화를 지원하는 Apache Avro는 데이터 스트리밍에 널리 사용되고 있는 형식입니다.

AWS Glue의 Apache Avro 형식 읽기 지원 기능은 AWS Glue와 동일한 AWS 리전에서 사용할 수 있습니다.

자세히 알아보려면, 설명서에서 스트리밍 ETL 작업을 추가하는 방법을 참조하십시오.