Amazon OpenSearch Ingestion 增加了对从 Confluent Cloud 摄取流数据的支持

发布于: 2024年6月26日

Amazon OpenSearch Ingestion 现在允许您从 Confluent Cloud Kafka 集群中摄取流数据,无需任何第三方数据连接器即可无缝传输到 Amazon OpenSearch Service 托管集群或无服务器集合中。通过这种集成,您现在可以使用 Amazon OpenSearch Ingestion 对从 Confluent Cloud 中摄取的数据执行近乎实时的聚合、采样和异常检测,从而帮助您构建高效的数据管道,为复杂的可观测性使用案例提供支持。

Amazon OpenSearch Ingestion 管道可以使用 Confluent Kafka 集群中一个或多个主题的数据,并在将数据写入 Amazon OpenSearch Service 或 Amazon S3 之前对其进行转换。通过 Amazon OpenSearch Ingestion 从 Confluent Kafka 集群读取数据时,您可以配置每个主题的消费者数量,并针对高优先级和低优先级数据调整不同的摄取参数。您还可以选择使用 Confluent Schema Registry 来指定您的数据架构,以便在摄取时动态地读取数据。您也可以查看 Confluent 的这篇博客文章,了解有关此功能的更多信息。

此功能现已向以下 14 个区域推出:美国东部(俄亥俄州)、美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(法兰克福)、亚太地区(东京)、亚太地区(悉尼)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(首尔)、加拿大(中部)、南美洲(圣保罗)和欧洲地区(斯德哥尔摩)。

要了解更多信息,请参阅 Amazon OpenSearch Ingestion 网页和 Amazon OpenSearch Ingestion 开发人员指南