게시된 날짜: Jun 28, 2022
이제 AWS Glue 스트리밍 추출, 전환, 적재(ETL)에서 Amazon Kinesis, Amazon Managed Streaming for Apache Kafka(Amazon MSK) 및 자체 관리형 Apache Kafka의 압축된 데이터 스트리밍을 감지할 수 있습니다. 압축된 데이터를 감지한 후에는 고객이 코드를 작성할 필요 없이 이러한 데이터의 압축을 자동으로 해제하므로 고객은 개발 시간을 절약할 수 있습니다. AWS Glue 스트리밍 ETL 작업은 스트리밍 소스의 데이터를 지속적으로 사용하고 데이터를 정리 및 변환하여 몇 초 만에 분석에 사용할 수 있도록 합니다. 고객은 스트리밍 전에 데이터를 순차적으로 압축하여 성능을 개선하고 Amazon Kinesis 및 Amazon MSK에 의한 제한을 방지합니다. 이 기능이 나오기 전, 고객은 사용자 정의 함수를 작성하여 스트림에서 데이터의 압축을 해제해야 했으며, 이 과정에서 많은 시간이 소요되었습니다.
AWS Glue 스트리밍 ETL은 이 새로운 기능을 통해 스트림에서 데이터가 압축되어 있는 경우 이를 자동으로 감지하고 데이터의 압축을 해제하며, 고객은 이를 위해 어떤 코드도 작성할 필요가 없습니다. AWS Glue 스트리밍 ETL은 BZIP, GZIP, SNAPPY, XZ, ZSTD 및 DEFLATE 압축 유형에 대해 자동 압축 해제를 지원하며, AVRO, JSON, CSV 및 기타 파일 형식에서 지원됩니다. 자세한 내용은 설명서를 참조하세요.
이 기능은 AWS Glue가 제공되는 모든 AWS 리전에서 사용할 수 있습니다.