Publicado: Aug 31, 2023
Agora, a Ingestão do Amazon OpenSearch permite ingerir dados de streaming do Amazon Managed Streaming for Apache Kafka (MSK), possibilitando a indexação integrada dos dados do Amazon MSK em domínios gerenciados do Amazon OpenSearch Service ou coleções com tecnologia sem servidor sem a necessidade de conectores de dados de terceiros. Com essa integração, você já pode usar a Ingestão do Amazon OpenSearch para realizar praticamente em tempo real agregações, amostragens e detecção de anomalias de dados ingeridos do Amazon MSK, o que ajuda a criar pipelines de dados eficientes para alimentar casos de uso complexos de observabilidade.
Os pipelines da Ingestão do Amazon OpenSearch podem consumir dados de um ou mais tópicos em um cluster do Amazon MSK e transformar os dados antes de gravá-los no Amazon OpenSearch Service ou no Amazon S3. Quando lê os dados do Amazon MSK usando a Ingestão do Amazon OpenSearch, você pode configurar o número de consumidores por tópico e ajustar diferentes parâmetros de recuperação de dados de alta e baixa prioridade. Você também pode usar o registro de esquemas do AWS Glue para especificar um esquema de dados para leitura dinâmica de dados no momento da ingestão. Além disso, como parte desse lançamento, a Ingestão do Amazon OpenSearch oferece suporte ao Data Prepper 2.4.0, que introduz novos recursos como processamento em lote do S3, filtragem em coletores, codecs Avro e Parquet para coletores S3 e melhorias na detecção de anomalias. Você pode conferir a lista completa de recursos nesta publicação de blog.
Este recurso está disponível em todas as regiões comerciais da AWS nas quais a ingestão do Amazon OpenSearch é oferecida.
Para saber mais, consulte a página Ingestão do Amazon OpenSearch e o Guia do desenvolvedor do Amazon OpenSearch Service.