发布于: Feb 10, 2022
Amazon Redshift 为 Kinesis Data Streams (KDS) 启动 Streaming Ingestion 支持。Amazon Redshift 的 Streaming Ingestion 消除了在将数据摄入到 Amazon Redshift 之前在 Simple Storage Service (Amazon S3) 中筹备数据的需要，使客户能够在每秒将数百兆的流数据接收到数据仓库的同时，在几秒钟内实现低延迟。
数据工程师、数据分析师和大数据开发者正在将他们的分析从批量转向实时，他们采用了 Amazon Kinesis 等流媒体引擎，对流媒体应用程序数据实现了近乎实时的响应式逻辑和分析。目前，想要从 Amazon Kinesis 等服务获取实时数据到 Amazon Redshift 的客户，必须首先在 Simple Storage Service (Amazon S3) 中处理数据，并使用 COPY 命令，这将在几分钟内实现延迟。有了 Amazon Redshift 中新的数据流摄入功能，您可以在 Redshift 中使用 SQL（结构化查询语言）来提供同时连接和直接摄入来自多个 Kinesis 数据流的数据的功能。Amazon Redshift 数据流摄入允许您直接在数据流之上创建实体化视图，从而简化了 Data Pipeline（数据管道）。实体化视图还能将 SQL 转换作为 ELT (Extract Load Transform) 管道的分段包含在内。一旦定义了实体化视图，您就可以手动刷新以允许您查询最近的流数据。这种方法允许您使用现有工具和熟悉的 SQL 执行流数据的下游处理和转换，而不需要额外的成本。
Amazon Redshift Streaming Ingestion 预览当前可以在所有可以使用 Amazon Redshift 的 Amazon Web Services (AWS) 区域中使用。 要开始使用 Amazon Redshift Streaming Ingestion，请在 CURRENT Track 上预置一个 Amazon Redshift 集群，并验证您的集群运行的版本是 1.0.35480 或更新版本。请注意，提供预览功能主要是为了评估和测试目的。不能用于生产系统或者使用生产数据。如需了解预览版的条款和条件，请参阅 AWS 服务条款中的 Beta Service Participation。想要了解有关 Amazon Redshift Streaming Ingestion 如何入门的更多信息，请参阅 Amazon Redshift 文档页面。如有任何问题或反馈，请随时联系我们，联系方式：redshiftstreamingingestion@amazon.com。