发布于: Jun 28, 2022
AWS Glue 流式 ETL（提取、转换、加载）现在可以检测 Amazon Kinesis、Amazon Managed Streaming for Apache Kafka (Amazon MSK) 和自主管理的 Apache Kafka 中的压缩数据流。然后，它可以自动解压缩这些数据，无需客户写入代码，从而节省客户的部署时间。AWS Glue 流式 ETL 作业会持续消耗来自流源的数据，在运行中清理和转换数据，并在几秒内使数据可供分析使用。客户在进行流式处理前压缩数据，以提高性能和避免 Amazon Kinesis 和 Amazon MSK 的节流限制。在这个功能出现之前，客户必须写入用户定义的函数来解压缩流中的数据，这很耗费时间。
借助这项新功能，AWS Glue 流式 ETL 将自动检测流中的数据是否已压缩，并对这些数据进行解压缩，无需客户写入任何代码。AWS Glue 流式 ETL 支持 BZIP、GZIP、SNAPPY、XZ、ZSTD 和 DEFLATE 压缩类型的自动解压缩，并受 AVRO、JSON、CSV 和其他文件格式的支持。要了解更多信息，请访问我们的文档。
提供 AWS Glue 的所有 AWS 区域均提供这一功能。