Ingestão de dados usando o Amazon Kinesis Data Firehose

Com o Amazon Kinesis Firehose, você pode converter facilmente dados brutos de streaming das suas fontes de dados nos formatos exigidos pelo índice do Elasticsearch ou OpenSearch e carregá-los no Amazon OpenSearch Service, sem precisar criar seus próprios pipelines de processamento de dados.

Para usar esse recurso, basta selecionar uma função do AWS Lambda na guia de configuração do fluxo de entrega do Amazon Kinesis Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente a função do AWS Lambda a cada registro de dados de entrada e carregará os dados transformados no índice do Amazon OpenSearch Service.

O Amazon Kinesis Firehose oferece esquemas pré-compilados do Lambda que podem ser usados sem qualquer alteração ou personalizados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você também poderá configurar o Amazon Kinesis Firehose para repetir automaticamente as tarefas com falha e fazer backup dos dados brutos de streaming. Saiba mais »

 

Ingestão de dados usando o Logstash

O Amazon OpenSearch Service aceita a integração com o Logstash, uma ferramenta de processamento de dados de código aberto que coleta dados de fontes, transformando-os e depois carregando-os no Elasticsearch ou OpenSearch. Você poderá facilmente implantar o Logstash no Amazon EC2 e configurar o domínio do Amazon OpenSearch Service como o armazenamento de backend para todos os logs provenientes da sua implantação do Logstash. O Logstash oferece suporte a uma biblioteca de filtros pré-construídos para executar facilmente transformações comuns, como análises de dados de log não estruturados em dados estruturados por meio da correspondência de padrões, renomeação, remoção, substituição e modificação de campos nos seus registros de dados, além de agregação de métricas. Saiba mais »

Consumo de dados usando o Amazon CloudWatch Logs

O Amazon CloudWatch Logs permite que você monitore e solucione problemas nos seus sistemas e aplicações usando os arquivos de logs personalizados, de aplicações e de sistemas atuais. É possível configurar um grupo de logs do CloudWatch Logs para fazer streaming de dados para o domínio do Amazon OpenSearch Service praticamente em tempo real por meio de uma assinatura do CloudWatch Logs. Essa integração será indicada se você já estiver usando o CloudWatch Logs para coletar dados de log e desejar compartilhá-los com seus usuários do Amazon OpenSearch Service. Saiba mais »

Consumo de dados usando o AWS IoT

O AWS IoT é uma plataforma gerenciada de nuvem que permite a interação fácil e segura de dispositivos com aplicativos de nuvem e outros dispositivos. Com o AWS IoT, você pode capturar dados de dispositivos conectados, como dispositivos de consumo, sensores integrados e decodificadores de TV. Usando o Console de Gerenciamento da AWS, você pode configurar o AWS IoT para carregar os dados diretamente no Amazon OpenSearch Service e fornecer aos clientes acesso praticamente em tempo real a dados e métricas do IoT. Saiba mais »

Como escolher o mecanismo certo de consumo de dados

A escolha do mecanismo certo de consumo de dados depende dos requisitos do seu caso de uso, como a latência e o tipo de dados. Para volumes de dados grandes, recomendamos o uso do Amazon Kinesis Data Firehose, que é totalmente gerenciado, tem ajuste automático de escala para corresponder à taxa de transferência dos seus dados e não exige administração contínua. Ele também pode transformar, compactar e separar os dados em lotes antes de os carregar no domínio do Amazon OpenSearch Service. Geralmente, a escolha também se resume aos serviços que você já está usando. Por exemplo, se você já estiver coletando logs de aplicações usando o Amazon CloudWatch Logs, poderá simplesmente carregar os dados no domínio do Amazon OpenSearch Service sem muitos esforços adicionais.

Próximas etapas

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

Saiba mais sobre os preços do Amazon OpenSearch Service

Acesse a página de preços