Publicado en: Aug 31, 2023
Amazon OpenSearch Ingestion ahora le permite incorporar datos de streaming de Amazon Managed Streaming para Apache Kafka (MSK), lo que le permite indexar sin problemas los datos de Amazon MSK en dominios gestionados o colecciones sin servidor de Amazon OpenSearch Service sin necesidad de utilizar conectores de datos de terceros. Con esta integración, ahora puede usar Amazon OpenSearch Ingestion para realizar agregaciones, muestreos y detección de anomalías casi en tiempo real de los datos que se incorporan de Amazon MSK, lo que le ayuda a crear canalizaciones de datos eficientes para impulsar sus complejos casos de uso de observabilidad.
Las canalizaciones de Amazon OpenSearch Ingestion pueden consumir datos de uno o más temas de un clúster de Amazon MSK y transformarlos antes de escribirlos en Amazon OpenSearch Service o Amazon S3. Mientras lee los datos de Amazon MSK a través de Amazon OpenSearch Ingestion, puede configurar el número de consumidores por tema y ajustar distintos parámetros de búsqueda para datos de alta y baja prioridad. Además, también puede usar AWS Glue Schema Registry de forma opcional para especificar su esquema de datos para leer los datos de forma dinámica en el momento de la incorporación. Como parte de este lanzamiento, Amazon OpenSearch Ingestion ahora es compatible con Data Prepper 2.4.0, que presenta nuevas características como el procesamiento por lotes de S3, el filtrado en los receptores, los códecs Avro y Parquet para los receptores S3 y mejoras en la detección de anomalías. Puede consultar la lista completa de características en esta entrada del blog.
Esta característica está disponible en todas las regiones comerciales de AWS en las que Amazon OpenSearch Ingestion está disponible actualmente.
Para obtener más información, consulte la página web de Amazon OpenSearch Ingestion y la Guía para desarrolladores de Amazon OpenSearch Service.