게시된 날짜: Mar 7, 2023
이제 AWS Glue는 버전 4.0에서 스트리밍 ETL을 지원합니다. 버전 4.0은 AWS에서 데이터 통합 워크로드를 가속화하는 AWS Glue의 새로운 버전입니다. AWS Glue 4.0은 Apache Spark 3.3.0과 Python 3.10으로 업그레이드하는 등 데이터 통합 엔진을 업그레이드합니다.
AWS Glue 스트리밍 ETL 작업은 스트리밍 소스의 데이터를 지속적으로 사용하고 빠르게 데이터를 정리 및 변환하여 몇 초 만에 분석에 사용할 수 있도록 합니다. 이번 릴리스에는 마이크로 배치 전반에 걸쳐 효율적인 스트리밍 솔루션을 구축할 수 있도록 최적화된 상태 관리 스토어가 포함되어 있습니다. 이 기능을 사용하면 좀 더 쉽게 스트림에서 중복을 제거하고 스트림 기반 집계를 수행할 수 있습니다. 또한 스트림에서 해당 레코드를 수신한 시점을 나타내는 새 열을 추가하여 데이터 관측성을 높일 수도 있습니다. 이 버전은 Amazon Managed Streaming for Apache Kafka Serverless에 대한 IAM 인증도 지원합니다.
AWS Glue 4.0 스트리밍 ETL은 이제 중국 및 GovCloud를 제외하고 AWS Glue가 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
자세한 내용은 설명서에서 스트리밍 ETL 작업 섹션을 확인해 보세요.