发布于: Aug 31, 2023
Amazon OpenSearch Ingestion 现在允许您从 Amazon Managed Streaming for Apache Kafka (MSK) 中提取流数据，从而无需任何第三方数据连接器即可将来自 Amazon MSK 的数据无缝索引到 Amazon OpenSearch Service 托管域或无服务器集合中。通过这种集成，您现在可以使用 Amazon OpenSearch Ingestion 对从 Amazon MSK 提取的数据执行近乎实时的聚合、采样和异常检测，从而帮助您构建高效的数据管道，为复杂的可观测性使用案例提供支持。
Amazon OpenSearch Ingestion 管道可以使用 Amazon MSK 集群中一个或多个主题的数据，并在将数据写入 Amazon OpenSearch Service 或 Amazon S3 之前对其进行转换。通过 Amazon OpenSearch Ingestion 从 Amazon MSK 读取数据时，您可以配置每个主题的消费者数量，并针对高优先级和低优先级数据调整不同的提取参数。此外，您还可以选择使用 AWS Glue Schema Registry 来指定您的数据架构，以便在采集时动态读取数据。同样作为此次发布的一部分，Amazon OpenSearch Ingestion 现在支持 Data Prepper 2.4.0，它引入了新功能，例如 S3 批处理、在接收器中筛选、用于 S3 接收器的 Avro 和 Parquet 编解码器以及对异常检测的改进。您可以在这篇博客文章中查看完整的功能列表。
此功能在目前已推出 Amazon OpenSearch Ingestion 的所有 AWS 商业区域提供。
要了解更多信息，请参阅 Amazon OpenSearch Ingestion 网页和 Amazon OpenSearch Service 开发人员指南。