Amazon Kinesis Data Streams 宣布推出流表,支持将数据传输到 Amazon S3 表类数据存储服务上的 Apache Iceberg 表
Amazon Kinesis Data Streams 推出了流表,这是一项完全无服务器的新功能,可持续将数据从 Kinesis 流以 Apache Iceberg 格式传输到 Amazon S3 表类数据存储服务。流表不要求构建和运营自行管理的 Iceberg 传输管道,可将数据传输成本降低高达 50%。智能内联压缩可解决小文件问题,并保持查询性能可预测,从而将下游查询成本降低高达 30%。
Amazon Kinesis Data Streams 是一项无服务器串流数据服务,可简化任何规模的数据流捕获、处理和存储。越来越多的客户希望将流数据传输到 Apache Iceberg 表,以便利用最新数据实现近实时分析和创建 AI/ML 特征管道。目前,要实现该目标,客户需要构建和管理自定义管道、处理格式转换并管理计算基础设施,这增加了他们的成本。大量流摄取还会产生许多小 Parquet 文件,导致下游查询性能降低和存储成本增加。借助流表(一项完全无服务器的功能),客户只需创建一个流表,即可持续将数据从 Kinesis 流传输到 Amazon S3 表类数据存储服务。智能内联压缩可消除小文件对性能的影响,并在不牺牲数据新鲜度的前提下保持查询性能可预测。Kinesis Data Streams 可自动处理扩缩、重试、压缩和传输可靠性,并在数分钟内完成传输,无需自定义应用程序和自行管理的计算资源,且没有运营开销。客户只需在控制台中单击几下鼠标即可通过集成体验配置流表,也可以通过 API 进行配置。
流表支持 On Demand Advantage(ODA)和 On Demand Standard(ODS)容量模式,采用基于使用量的定价,没有设置费用或最低承诺。您只需为成功传输的数据付费。流表已在提供 Amazon Kinesis Data Streams 的所有 AWS 区域推出,包括 AWS GovCloud(美国)和中国区域。要开始使用,请参阅 Amazon Kinesis Data Streams 用户指南和定价页面。