Recursos do Amazon OpenSearch Service

Instalação e configuração: é fácil começar a trabalhar com o Amazon OpenSearch Service. Você pode instalar e configurar seu cluster do Amazon OpenSearch Service usando o Console de Gerenciamento da AWS ou uma única chamada de API por meio da interface da linha de comando (CLI) da AWS. Você pode especificar o número de instâncias, os tipos de instância, as opções de armazenamento e modificar ou excluir clusters existentes a qualquer momento.

Upgrades no local: usando upgrades de versão no local, o Amazon OpenSearch Service facilita o upgrade dos seus clusters do OpenSearch e Elasticsearch (até a versão 7.10) para versões mais recentes sem tempo de inatividade. Os upgrades no local eliminam o incômodo de obter um snapshot manual, restaurá-lo em um cluster executando a versão mais recente e atualizar todas as referências de endpoint.

Monitoramento e alertas de eventos: o Amazon OpenSearch Service fornece monitoramento e alertas de eventos internos, permitindo que você monitore os dados armazenados no seu cluster e envie notificações automaticamente com base em limites pré-configurados. Desenvolvido com o uso do plugin de alertas do OpenSearch, esse recurso permite configurar e gerenciar alertas usando a interface do Kibana ou do OpenSearch Dashboards e a API REST. Você pode receber notificações por meio de webhooks personalizados, do Slack, do Amazon Simple Notification Service (SNS) e do Amazon Chime. Também pode visualizar métricas de integridade do cluster, incluindo número de instâncias, integridade do cluster, documentos pesquisáveis, CPU e memória, bem como utilização de disco para dados e nós principais por meio do Amazon CloudWatch, sem custo adicional.

Suporte para várias linguagens de consulta: com o Amazon OpenSearch Service, não é necessário ter proficiência na linguagem específica de domínio (DSL) de consultas OpenSearch. Escreva consultas SQL com o OpenSearch SQL ou use a OpenSearch Piped Processing Language (PPL), uma linguagem de consulta que permite usar a sintaxe de barra vertical (|) para explorar, descobrir e consultar seus dados. O OpenSearch Dashboards também inclui um workbench PPL e SQL.

Integração com ferramentas de código aberto: o Amazon OpenSearch Service oferece o OpenSearch Dashboards e o Kibana integrados (Elasticsearch versão 7.10 e anteriores) e integra-se ao Logstash, para que você possa ingerir e visualizar seus dados usando suas ferramentas de código aberto preferidas. Faça análises de rastreamento com o suporte do Amazon OpenSearch Service para a norma OpenTelemetry de código aberto e continue usando seu código existente com acesso direto a APIs e plugins do Elasticsearch, como Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor e Mapper Murmur3.

Segurança e conformidade: com o Amazon OpenSearch Service, você pode conectar suas aplicações com segurança ao ambiente gerenciado Elasticsearch (versão 7.10 e anteriores) ou OpenSearch a partir da Amazon Virtual Private Cloud (VPC) ou na Internet pública, configurando o acesso à rede com o uso de grupos de segurança de VPC ou políticas de acesso baseadas em IP. Você também pode autenticar com segurança seus usuários e controlar o acesso usando o Amazon Cognito, o AWS Identity and Access Management (IAM) ou a autenticação básica com um nome de usuário e uma senha. O Amazon OpenSearch Service aproveita o plugin de segurança do OpenSearch, permitindo que você defina permissões detalhadas para índices, documentos ou campos. Você também pode estender o Kibana com exibições somente leitura e suporte seguro a vários locatários. O Amazon OpenSearch Service também oferece suporte à criptografia integrada de dados em repouso ou em trânsito, para que você possa proteger seus dados quando eles estiverem armazenados no seu domínio ou em snapshots automáticos e quando eles forem transferidos entre nós no domínio. O Amazon OpenSearch Service é elegível para a HIPAA e compatível com as normas PCI DSS, SOC, ISO e FedRAMP, facilitando a criação de aplicações que atendem aos requisitos de compatibilidade.

Sem servidor: provisione automaticamente e ajuste continuamente para obter taxas rápidas de ingestão de dados e tempos de resposta em milissegundos durante mudanças nos padrões de uso e na demanda com o Amazon OpenSearch Sem Servidor.

O armazenamento ativo permite a recuperação rápida de dados acessados com frequência. O UltraWarm é um nível de armazenamento moderado que complementa o nível de armazenamento ativo do Amazon OpenSearch Service, fornecendo armazenamento mais econômico para dados mais antigos e acessados com menos frequência, sem deixar de proporcionar uma experiência interativa de consultas. O UltraWarm armazena dados no Amazon S3 e usa nós personalizados, altamente otimizados e de uso específico no AWS Nitro System para atividades rápidas de armazenamento em cache, pré-recuperação e consulta desses dados.

Com o UltraWarm, você pode reter até 3 PB de dados em um único cluster do Amazon OpenSearch Service, reduzindo os custos por GB em quase 90% em comparação com o nível de armazenamento ativo. Você também pode consultar e visualizar facilmente os dados na interface do OpenSearch Dashboards ou Kibana (versão 7.10 e anteriores). Analise os dados de log recentes (semanas) e históricos (meses ou anos) sem perder horas ou dias restaurando logs arquivados.

P: O que é o UltraWarm?

O UltraWarm é uma camada de armazenamento moderada totalmente gerenciada e de baixo custo para o Amazon OpenSearch Service. Ele é compatível com OpenSearch, com o Elasticsearch (até a versão 7.10) e com o OpenSearch Dashboards e Kibana (até a versão 7.10), permitindo analisar dados usando as mesmas ferramentas que o Amazon OpenSearch Service oferece hoje. O UltraWarm se integra perfeitamente aos recursos existentes do Amazon OpenSearch Service, como alertas integrados, consultas SQL e muito mais. 

P: Por que devo usar o UltraWarm?

O UltraWarm permite expandir de maneira econômica os dados que deseja analisar no Amazon OpenSearch Service, obtendo insights valiosos sobre os dados que anteriormente poderiam ter sido excluídos ou arquivados. Com o UltraWarm, agora é possível reter economicamente mais dados para analisá-los de forma interativa sempre que quiser.

P: Como o UltraWarm se relaciona/trabalha com o Amazon OpenSearch Service?

O Amazon OpenSearch Service oferece suporte a dois níveis de armazenamento integrado: ativo e UltraWarm. O nível ativo é alimentado por nós de dados que são usados para indexar, atualizar e fornecer o acesso mais rápido aos dados. Os nós UltraWarm complementam a camada hot, fornecendo uma camada de baixo custo e somente leitura para dados mais antigos e acessados com menos frequência.

P: Por que o UltraWarm precisa apenas de dados primários para durabilidade?

O UltraWarm usa o Amazon Simple Storage Service (Amazon S3) para armazenamento, projetado para uma durabilidade de 99,999999999% e elimina a necessidade de configurar uma réplica do Elasticsearch para seus dados quentes. Além disso, se você tiver mais de um nó UltraWarm, no caso de uma falha no nó, os outros nós UltraWarm acessarão automaticamente os dados conforme necessário.

P: Quantos dados é possível armazenar no UltraWarm?

O UltraWarm oferece suporte para até 3 PB de dados primários. O UltraWarm foi projetado para permitir a utilização total de 100% desse armazenamento. Como o UltraWarm armazena dados no S3 para obter resiliência, você não precisa usar armazenamento adicional para réplicas do Elasticsearch.

P: Quais são as características de performance do UltraWarm?

O UltraWarm proporciona uma experiência interativa no OpenSearch Dashboards e no Kibana, implementando otimizações detalhadas de cache de E/S, pré-busca e mecanismo de consulta para fornecer performance semelhante à de instâncias de alta densidade usando armazenamento local.

P: Como posso começar a usar o UltraWarm?

Para começar com o UltraWarm, crie um novo domínio do Amazon OpenSearch Service com o UltraWarm habilitado através do console, da CLI ou de APIs. Após a criação do seu domínio, será possível mover dados do armazenamento ativo para o UltraWarm usando as APIs do OpenSearch/Elasticsearch. Saiba mais. 

O armazenamento inativo é a opção de armazenamento com o mais baixo custo para o Amazon OpenSearch Service, que permite reter no Amazon S3 os dados acessados com pouca frequência e pagar por computação apenas quando necessário. O armazenamento inativo é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de cache sofisticada para oferecer uma experiência interativa. Ao desacoplar recursos de computação do armazenamento, o armazenamento inativo permite que você retenha qualquer quantidade de dados no seu domínio do Amazon OpenSearch Service e, ao mesmo tempo, reduz os custos por GB para preços de armazenamento semelhantes aos do Amazon S3. Desvincule dados moderados históricos ou acessados com pouca frequência que não estão em uso e libere computação para ajudar a reduzir os custos. Descubra e anexe seletivamente seus dados inativos aos nós UltraWarm do seu domínio em segundos com a sua escolha de uma interface Kibana (versão 7.10 e anterior) ou OpenSearch Dashboards e APIs de fácil uso. Com o armazenamento inativo, você pode consultar os dados inativos anexados com uma experiência e performance interativas semelhantes à dos seus dados ativos.

P: O que é o armazenamento inativo?

O armazenamento inativo é um nível de armazenamento com o mais baixo custo e totalmente gerenciado para o Amazon OpenSearch Service que permite armazenar e analisar com segurança seus logs históricos sob demanda com mais facilidade. O armazenamento inativo permite desvincular completamente o armazenamento da computação quando o recurso não estiver executando ativamente a análise de dados e permite manter seus dados prontamente disponíveis por um baixo custo. Os dados de armazenamento inativo ficam disponíveis no domínio do Amazon OpenSearch Service por meio dos seus nós UltraWarm. O armazenamento inativo integra-se perfeitamente ao OpenSearch e ao OpenSearch Dashboards, bem como ao Elasticsearch (versão 7.9, 7.10) e ao Kibana (versão 7.9, 7.10). Permite que analisar dados usando as mesmas ferramentas que o Amazon OpenSearch Service oferece hoje.

P: Por que devo usar o armazenamento inativo?

O armazenamento inativo permite expandir de maneira econômica os dados que deseja analisar no Amazon OpenSearch Service, além de obter insights valiosos sobre dados que podem ter sido excluídos ou arquivados anteriormente. O armazenamento inativo é uma ótima opção, caso precise fazer pesquisas ou análises forenses nos seus dados mais antigos e queira usar todas as funcionalidades do Amazon OpenSearch Service para fazer isso, tudo isso a um preço acessível. O armazenamento inativo é criado para escala e é baseado no Amazon S3. Encontre e descubra os dados de que precisa, anexe-os aos nós do UltraWarm no seu cluster e mantenha-os disponíveis para análise em segundos. Os dados inativos anexados estão sujeitos às políticas de controle de acesso refinado existentes que restringem o acesso no nível do índice, documento e campo.

P: Como o armazenamento inativo se relaciona/funciona com o Amazon OpenSearch Service?

Com o armazenamento inativo, o Amazon OpenSearch Service oferece suporte a três níveis de armazenamento integrados: ativo, UltraWarm e inativo. O nível ativo é usado para indexar, atualizar e fornecer o acesso mais rápido aos dados. O UltraWarm fornece uma extensão direta do nível frequente fornecendo nós de computação que oferecem uma experiência interativa de alta performance para dados armazenados de forma durável no Amazon S3 e deve ficar disponível de forma persistente, atualmente oferecendo suporte a até 3 PB de dados em um único domínio. Com o armazenamento inativo, agora é possível desvincular os índices do UltraWarm quando não estiverem em uso e liberar computação para ajudar a reduzir os custos. Com as novas APIs de armazenamento inativo e a interface do OpenSearch Dashboards e do Kibana, é possível descobrir índices com base em padrões de índice e timestamps de dados para encontrar rapidamente tudo o que precisa para análises. Assim, os dados ficam prontos para serem anexados ao domínio e para análise em segundos. Ao concluir a análise, basta desanexar os dados para liberar a sua computação novamente. 

P: Qual é a quantidade de dados suportada pelo armazenamento inativo?

O armazenamento inativo é criado para escalar. Enquanto o limite de armazenamento frequente e warm de dados permanecer 3 PB, você poderá armazenar qualquer quantidade de dados no armazenamento inativo.

P: Quais são as características de performance do armazenamento inativo?

O armazenamento inativo é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de cache sofisticada para oferecer uma experiência interativa. Primeiro, os dados inativos devem ser anexados aos nós UltraWarm do seu domínio do Amazon OpenSearch Service. Uma vez anexados, as consultas sobre esses dados são alimentadas por nós UltraWarm existentes e oferecem a mesma performance que os seus dados moderados. Se houver capacidade de UltraWarm suficiente disponível para os dados solicitados, levará segundos para anexar índices inativos ao seu domínio. Se você precisar de mais capacidade, os nós de dados do UltraWarm deverão ser adicionados, o que pode levar alguns minutos.

O OpenSearch Service fornece recursos de pesquisa de documentos em tempo real que vão além da pesquisa de banco de dados. Esse serviço totalmente gerenciado usa o mecanismo OpenSearch para pesquisa. O OpenSearch é um mecanismo de pesquisa de código aberto, portátil e independente de plataforma, baseado em Lucene e com todos os recursos, que oferece suporte a pesquisa por palavra-chave, pesquisa em linguagem natural, sinônimos, vários idiomas e muito mais. Recursos principais de pesquisa:

• Adquire dados de um banco de dados ou sistema de gerenciamento de conteúdo, um crawler da Web ou da intranet ou um serviço de streaming
  
• Fornece APIs de pesquisa para criar um front-end sobre os serviços de pesquisa
  
• Viabiliza pesquisas em muitos atributos
  
• Localiza novos documentos que correspondem a um conjunto de consultas salvas com pesquisa prospectiva (percolação)
  
• Avalia padrões de uso e realiza planejamento de capacidade e previsão de custos com recursos de monitoramento do OpenSearch Service
  
• Usa algoritmos de machine learning (ML) integrados para pesquisa de k-vizinhos mais próximos (kNN) para realizar pesquisa de vetor, pesquisa de similaridade, pesquisa semântica e muito mais
• Usa algoritmo de ML integrado para aprender a classificar para calcular pontuações de relevância
  
• Usa várias linguagens de consulta, incluindo SQL
  

Permita que suas equipes de operações de segurança (SecOps) detectem ameaças potenciais rapidamente e, ao mesmo tempo, tenham as ferramentas para ajudar nas investigações de segurança, tudo com baixos custos de retenção de dados. Proteja os dados da sua empresa e detecte rapidamente possíveis ameaças à segurança. O OpenSearch Service fornece suporte pronto para uso para mais de 2200 regras de segurança Sigma de código aberto para detectar possíveis ameaças à segurança filtrando as descobertas relacionadas. Você pode até mesmo personalizar ou usar as regras padrão do Sigma para detectar rapidamente possíveis ameaças à segurança e enviar alertas para um destino pré-selecionado. Use o suporte pronto para uso para várias fontes de logs, incluindo Windows, Netflow, AWS CloudTrail, DNS e muito mais. 

O que é análise de segurança?

A análise de segurança do OpenSearch foi projetada para ajudar a investigar, detectar, analisar e responder a ameaças à segurança que possam comprometer as operações de funções críticas de negócios. Essas ameaças incluem a exposição potencial de dados confidenciais, ataques cibernéticos e outros eventos adversos de segurança. Ele inclui as ferramentas e os recursos necessários para definir parâmetros de detecção, gerar alertas e responder de forma eficaz a ameaças em potencial.

P: Quais tipos de logs de segurança são compatíveis com a análise de segurança?

Atualmente, oferecemos suporte a 8 tipos de log, incluindo Netflow, logs de DNS, logs de acesso do Apache, logs do Windows, logs AD/LDAP, logs do sistema Linux, logs do AWS CloudTrail e logs de acesso do Amazon S3

P: Como faço para enviar esses logs de segurança para o OpenSearch?

Você pode usar seus canais de ingestão existentes que enviam dados formatados em JSON para o OpenSearch.

P: A análise de segurança fornece regras de segurança prontas para uso? 

Sim, pacotes de análise de segurança do OpenSearch com mais de 2200 regras de segurança Sigma para uso imediato com diferentes tipos de detectores de segurança. Essas regras são pré-selecionadas quando você fornece uma configuração mínima sobre a origem do log.

P: Posso criar minhas próprias regras personalizadas?

Sim, regras personalizadas podem ser adicionadas para os tipos de log compatíveis acima. Essas regras precisam estar em um formato de regra Sigma e podem ser importadas para o OpenSearch antes de serem usadas com um detector de segurança.

P: Preciso converter os logs em um formato ou esquema específico? 

Sim, os logs devem estar no formato JSON. Recomendamos enviá-los no formato ECS (Elastic Common Schema)

P: Preciso pagar taxas adicionais de licenciamento para usar a análise de segurança? 

A análise de segurança do OpenSearch está disponível para você sem custos adicionais ou taxas de licenciamento. Você paga o mesmo custo que pagaria para ingerir outros dados no OpenSearch Service. 

P: Qual versão do OpenSearch Service oferece suporte à análise de segurança? 

O Security Analytics vem pré-instalado com o OpenSearch Service executando o OpenSearch versão 2.5 ou superior.

P: Há alguma diferença entre a análise de segurança do OpenSearch e o Amazon Security Lake? 

O Amazon Security Lake centraliza automaticamente os dados de segurança de fontes na nuvem, on-premises e personalizadas em um data lake específico armazenado em sua conta. Esses dados agregados são normalizados em um formato comum, armazenados em buckets do S3. Esses dados podem ser ingeridos no OpenSearch Service, que permite visualizar, consultar e criar relatórios sobre os mesmos. A análise de segurança fornece um mecanismo de regras de segurança que pode ajudá-lo a detectar e alertar sobre possíveis eventos de segurança, bem como ajudá-lo a correlacioná-los para ajudar na sua investigação.

P: Posso usar a análise de segurança do OpenSearch com o Amazon Security Lake? 

Sim, você pode trazer logs adicionais do Security Lake para o OpenSearch e criar um detector para executar regras relevantes nos logs ingeridos.

Detalhes do recurso do OpenSearch Service:

• Orientado pelos custos
• Integrações
• Serviço gerenciado
• Sem servidor
• Observabilidade
• Segurança