게시된 날짜: Oct 8, 2020
AWS Glue의 스트리밍 추출, 변환, 로드(ETL) 작업은 이제 수신 레코드의 스키마를 자동으로 감지하고 레코드별 스키마 변경을 정상적으로 처리합니다. 이전에는 AWS Glue 데이터 카탈로그를 사용하여 수신 데이터의 스키마를 지정하고 ETL 스크립트를 업데이트하여 스키마 변경을 처리해야 했습니다. 이제 AWS Glue 작업이 이 두 가지를 모두 수행할 수 있으므로 코드 재작업 시간을 절약하고 ETL 작업의 유연성을 높일 수 있습니다.
AWS Glue 스트리밍 ETL 작업은 스트리밍 소스의 데이터를 지속적으로 사용하고 데이터를 정리 및 변환하여 몇 초 만에 분석에 사용할 수 있도록 합니다. AWS Glue 스트리밍 ETL 작업에서 자동 스키마 감지를 사용하면 정적 스키마가 없을 수도 있는 IoT 로그와 같은 데이터를 데이터 손실 없이 쉽게 처리 할 수 있습니다. 또한 스트리밍 데이터의 스키마가 진화함에 따라 작업에서 직접 AWS Glue 데이터 카탈로그의 출력 테이블을 업데이트할 수 있습니다.
자동 스키마 감지 기능은 이제 AWS Glue와 동일한 AWS 리전에서 이용 가능합니다.
설명서에서 AWS Glue 스트리밍 ETL에 관해 자세히 알아보세요.