Características de Amazon OpenSearch Service

Instalación y configuración: comenzar a utilizar Amazon OpenSearch Service es fácil. Puede instalar y configurar el clúster de Amazon OpenSearch Service con la consola de administración de AWS o con una única llamada a la API a través de la interfaz de línea de comandos (CLI) de AWS. Puede especificar la cantidad de instancias, los tipos de instancias y las opciones de almacenamiento, además de modificar o eliminar los clústeres existentes en cualquier momento.

Actualizaciones locales: Amazon OpenSearch Service le facilita actualizar los clústeres de OpenSearch y Elasticsearch (hasta la versión 7.10) a versiones más nuevas sin generar tiempo de inactividad y con actualizaciones locales de versiones. Las actualizaciones locales eliminan el arduo proceso de tomar una instantánea manual, restaurarla en un clúster que ejecute la versión más reciente y actualizar todas las referencias del punto de enlace.

Monitoreo y alerta de eventos: Amazon OpenSearch Service incluye el monitoreo y las alertas de eventos integrados, lo que permite monitorear los datos almacenados en el clúster y enviar notificaciones automáticas de acuerdo con los límites preconfigurados. Creada con el complemento de alertas de OpenSearch, esta característica permite configurar y administrar las alertas mediante la interfaz de Kibana u OpenSearch Dashboards y la API REST. Puede recibir notificaciones a través de webhooks personalizados, Slack, Amazon Simple Notification Service (SNS) y Amazon Chime. También puede observar métricas del estado del clúster, incluidos la cantidad de instancias, el estado del clúster, los documentos consultables, la CPU y la memoria, así como el uso del disco para los datos y los nodos maestros a través de Amazon CloudWatch, sin cargo adicional.

Compatibilidad para varios lenguajes de consulta: con Amazon OpenSearch Service, no es necesario dominar el lenguaje específico de dominio (DSL) de consulta de OpenSearch. Escriba consultas SQL con OpenSearch SQL o utilice el procesamiento de lenguaje canalizado (PPL, Piped Processing Language) de OpenSearch, un lenguaje de consulta que le permite utilizar la sintaxis de canalización (|), para explorar, descubrir y consultar sus datos. OpenSearch Dashboards también incluye un banco de trabajo SQL y PPL.

Integración con herramientas de código abierto: Amazon OpenSearch Service ofrece OpenSearch Dashboards y Kibana incorporados (Elasticsearch versión 7.10 o anterior) e integración con Logstash, de modo que pueda capturar y visualizar los datos con las herramientas de código abierto que prefiera. Lleve a cabo análisis de rastreos con la compatibilidad de Amazon OpenSearch Service con el estándar OpenTelemetry de código abierto y continúe el uso de su código existente con acceso directo a las API y los complementos de Elasticsearch, como Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor y Mapper Murmur3.

Seguridad: con Amazon OpenSearch Service, puede conectar de forma segura las aplicaciones al entorno administrado de Elasticsearch (versión 7.10 o anterior) u OpenSearch desde su Amazon Virtual Private Cloud (VPC) o a través del Internet público, mediante la configuración del acceso a la red con grupos de seguridad de VPC o políticas de acceso basadas en IP. También puede autenticar a los usuarios de forma segura y controlar el acceso mediante Amazon Cognito, AWS Identity and Access Management (IAM) o autenticación básica mediante nombre de usuario y contraseña. Amazon OpenSearch Service aprovecha el complemento de seguridad de OpenSearch, lo que le permite definir permisos pormenorizados para índices, documentos o campos. También puede ampliar Kibana con vistas de solo lectura y compatibilidad segura para varios usuarios. Amazon OpenSearch Service admite cifrado integrado para los datos en reposo y en tránsito, de forma que puede proteger sus datos cuando están almacenados en su dominio y en instantáneas automatizadas, así como cuando se transfieren entre nodos en su dominio. Amazon OpenSearch Service cumple los requisitos de HIPAA y las normas PCI DSS, SOC, ISO y FedRAMP, lo que facilita la creación de aplicaciones que satisfagan los requisitos de conformidad.

Sin servidor: Aprovisione de manera automática y ajuste de forma continua para obtener tasas de ingesta de datos rápidas y tiempos de respuesta de milisegundos durante la demanda y los patrones de uso cambiantes con Amazon OpenSearch sin servidor.

El almacenamiento en caliente permite recuperar rápidamente los datos a los que se accede con frecuencia. UltraWarm es un nivel de almacenamiento de acceso intermedio que complementa la capa de almacenamiento en caliente de OpenSearch Service, ya que proporciona almacenamiento menos costoso para los datos más antiguos a los cuales se accede con menos frecuencia, pero sigue ofreciendo una experiencia de consultas interactiva. UltraWarm almacena datos en Amazon S3 y utiliza nodos personalizados y altamente optimizados, que se crearon con fines específicos en el sistema Nitro de AWS, para almacenar en la memoria caché, ubicar en la memoria con anticipación y consultar esos datos.

Con UltraWarm, puede retener hasta 3 PB de datos en un único clúster de Amazon OpenSearch Service, a la vez que reduce el costo por GB en casi el 90 %, en comparación con el nivel de almacenamiento en caliente. También puede consultar y visualizar fácilmente los datos en su interfaz Kibana (versión 7.10 y anteriores) u OpenSearch Dashboards. Analice tanto sus datos de registro recientes (semanas) como los históricos (meses o años) sin tener que pasar horas o días restaurando registros archivados.

P: ¿Qué es UltraWarm?

UltraWarm es una capa de almacenamiento de acceso poco frecuente, totalmente administrada y de bajo costo para Amazon OpenSearch Service. Es compatible con OpenSearch, Elasticsearch (hasta la versión 7.10), OpenSearch Dashboards y Kibana (hasta la versión 7.10), lo que le permite analizar los datos con las mismas herramientas que ofrece actualmente Amazon OpenSearch Service. UltraWarm se integra sin problemas con las características existentes de Amazon OpenSearch Service, como las alertas integradas, las consultas SQL y más. 

P: ¿Por qué debería utilizar UltraWarm?

UltraWarm le permite expandir de manera rentable el volumen de datos que desea analizar en Amazon OpenSearch Service y así obtener información valiosa sobre los datos que antes se podrían haber eliminado o archivado. Con UltraWarm, ahora puede retener de manera económica más datos para analizarlos de forma interactiva cuando lo desee.

P: ¿Cómo se relaciona o funciona UltraWarm con Amazon OpenSearch Service?

Amazon OpenSearch Service admite dos capas de almacenamiento integradas, de acceso frecuente y UltraWarm. La capa de acceso frecuente funciona con los nodos de datos que se utilizan para indexar, actualizar y proporcionar el acceso más rápido a los datos. Los nodos de UltraWarm complementan la capa de acceso frecuente con una capa de solo lectura y bajo costo para datos más antiguos a los que se accede con menos frecuencia.

P: ¿Por qué UltraWarm solo necesita datos primarios para la durabilidad?

UltraWarm utiliza Amazon Simple Storage Service (Amazon S3) para el almacenamiento que está diseñado para alcanzar una durabilidad del 99,999999999 % y elimina la necesidad de configurar una réplica de Elasticsearch para los datos de acceso poco frecuente. Además, si tiene más de un nodo de UltraWarm, en caso de que se produzca un error en uno de ellos, los demás nodos de UltraWarm accederán automáticamente a los datos según sea necesario.

P: ¿Qué volumen de datos puedo almacenar en UltraWarm?

UltraWarm admite hasta 3 PB de datos primarios. UltraWarm está diseñado para permitirle utilizar el 100 % de este almacenamiento y, debido a que almacena los datos en S3 para mayor durabilidad, no necesita utilizar almacenamiento adicional para las réplicas de Elasticsearch.

P: ¿Cuáles son las características de rendimiento de UltraWarm?

UltraWarm ofrece una experiencia interactiva en OpenSearch Dashboards y Kibana mediante la implementación de almacenamiento en caché pormenorizado de operaciones de E/S, captura previa y optimizaciones del motor de consulta para ofrecer un rendimiento similar al de las instancias de alta densidad que utilizan almacenamiento local.

P: ¿Cómo puedo comenzar a utilizar UltraWarm?

Para comenzar a utilizar UltraWarm, cree un nuevo dominio de Amazon OpenSearch Service con UltraWarm habilitado a través de la consola, la CLI o las API. Una vez que se crea su dominio, puede mover los datos de una capa de acceso frecuente a UltraWarm con las API de OpenSearch o Elasticsearch. Obtenga más información. 

El almacenamiento en frío es la opción de almacenamiento de menor costo de Amazon OpenSearch Service, que le permite retener los datos a los que se accede con poca frecuencia en Amazon S3 y solo pagar por cómputo cuando lo necesite. El almacenamiento en frío se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Al desacoplar los recursos informáticos del almacenamiento, el almacenamiento en frío le permite retener cualquier cantidad de datos en su dominio de Amazon OpenSearch Service a la vez que reduce el costo por GB casi al de los precios de almacenamiento de Amazon S3. Desconecte los datos históricos o a los que se accede con poca frecuencia mientras no se utilizan y libere cómputo para ayudar a reducir los costos. En cuestión de segundos, descubra y adjunte de forma selectiva los datos fríos a los nodos UltraWarm de su dominio con la elección de una interfaz de Kibana (versión 7.10 y anteriores) o de OpenSearch Dashboards y unas API fáciles de usar. Con el almacenamiento en frío, puede consultar los datos fríos adjuntos con una experiencia interactiva y un rendimiento similares a los de sus datos de acceso intermedio o tibios.

P: ¿Qué es el almacenamiento en frío?

El almacenamiento en frío es una capa de almacenamiento de bajo costo totalmente administrada para Amazon OpenSearch Service que le facilita el almacenamiento seguro y el análisis de sus registros históricos bajo demanda. El almacenamiento en frío le permite desconectar completamente el almacenamiento de cómputo cuando no se analizan datos de forma activa y le permite mantener sus datos fácilmente disponibles a bajo costo. Los datos del almacenamiento en frío están disponibles dentro del dominio de Amazon OpenSearch Service a través de sus nodos de UltraWarm. El almacenamiento en frío se integra perfectamente con OpenSearch y OpenSearch Dashboards, así como con Elasticsearch (versión 7.9, 7.10) y Kibana (versión 7.9, 7.10). Permite analizar los datos con las mismas herramientas que ofrece actualmente Amazon OpenSearch Service.

P: ¿Por qué debería utilizar el almacenamiento en frío?

El almacenamiento en frío le permite ampliar de manera rentable el volumen de datos que desea analizar en Amazon OpenSearch Service y así obtener información valiosa sobre los datos que antes se podrían haber eliminado o archivado. El almacenamiento en frío es ideal si tiene que llevar a cabo investigaciones o análisis forenses de sus datos más antiguos y desea utilizar todas las capacidades de Amazon OpenSearch Service para hacerlo, a un precio accesible. El almacenamiento en frío está creado para escalar y está respaldado por Amazon S3. Encuentre y descubra los datos que necesita, adjúntelos a los nodos de UltraWarm en su clúster y póngalos a disposición para su análisis en segundos. Los datos en frío adjuntos están sujetos a las políticas de control de acceso minucioso existentes que limitan el acceso a índices, documentos y campos.

P: ¿Cómo se relaciona o funciona el almacenamiento en frío con Amazon OpenSearch Service?

Con el almacenamiento en frío, Amazon OpenSearch Service admite tres niveles de almacenamiento integrados: de acceso frecuente, UltraWarm y frío. La capa de acceso frecuente se utiliza para indexar, actualizar y proporcionar el acceso más rápido a los datos. UltraWarm proporciona una extensión perfecta de la capa de acceso frecuente al ofrecer nodos informáticos que ofrecen una experiencia interactiva de alto rendimiento para los datos que se almacenan de forma duradera en Amazon S3, y que actualmente admiten hasta 3 PB de datos en un solo dominio. Gracias al almacenamiento en frío, ahora puede desconectar índices de UltraWarm mientras no están en uso y liberar cómputo para reducir costos. Con las nuevas API de almacenamiento en frío y la interfaz de OpenSearch Dashboards y Kibana, puede descubrir índices basados en patrones de índices y marcas de tiempo de datos para encontrar fácilmente lo que necesita para el análisis. Los datos pueden adjuntarse al dominio y estar listos para el análisis en cuestión de segundos. Cuando haya terminado con el análisis, basta con separar los datos para liberar de nuevo la informática. 

P: ¿Qué volumen de datos puedo almacenar en el almacenamiento en frío?

El almacenamiento en frío está diseñado para ser escalable. Mientras que los límites de almacenamiento para los datos de acceso frecuente siguen siendo de 3 PB, puede almacenar cualquier cantidad de datos en el almacenamiento en frío.

P: ¿Cuáles son las características de rendimiento del almacenamiento en frío?

El almacenamiento en frío se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Los datos antiguos deben adjuntarse primero a los nodos de UltraWarm de su dominio de Amazon OpenSearch Service. Una vez adjuntados, los nodos de UltraWarm existentes impulsan las consultas en estos datos, lo que ofrece el mismo rendimiento que sus datos de acceso frecuente. Adjuntar índices sin actualizar a su dominio lleva unos segundos si hay suficiente capacidad de UltraWarm disponible para los datos solicitados. Si necesita capacidad adicional, es necesario agregar nodos de datos de UltraWarm, lo que puede tardar hasta algunos minutos.

OpenSearch Service ofrece capacidades de búsqueda de documentos en tiempo real que van más allá de la búsqueda en base de datos. Este servicio totalmente administrado usa el motor OpenSearch para las búsquedas. OpenSearch es un motor de búsqueda de código abierto con todas las funciones, basado en Lucene, portátil e independiente de la plataforma, que admite búsqueda por palabras clave, búsqueda en lenguaje natural, sinónimos, varios idiomas y más. Capacidades de búsqueda principales:

• Adquiere datos de una base de datos o un sistema de administración de contenido, un rastreador web o de intranet o un servicio de streaming
  
• Incluye API de búsqueda para crear un frontend por encima de los servicios de búsqueda
  
• Permite búsquedas entre varios atributos
  
• Encuentra nuevos documentos que coinciden con un conjunto de consultas guardadas con búsqueda prospectiva (percolación)
  
• Evalúa patrones de uso y lleva a cabo planificaciones de capacidad y predicciones de costos con las capacidades de supervisión de OpenSearch Service
  
• Utiliza algoritmos de machine learning (ML) integrados para búsquedas del “vecino más cercano” (k-NN) con el fin de llevar a cabo búsquedas vectoriales, por similitud, semánticas y más
• Utiliza el algoritmo de ML integrado para Learning to Rank (Aprender a clasificar) con el fin de calcular calificaciones de relevancia.
  
• Utiliza distintos lenguajes de consulta, entre ellos SQL
  

Permita que sus equipos de operaciones de seguridad (SecOps) detecten posibles amenazas rápidamente y, al mismo tiempo, dispongan de las herramientas necesarias para ayudar en las investigaciones de seguridad, todo ello con bajos costos de retención de datos. Proteja los datos de su empresa y detecte rápidamente posibles amenazas de seguridad. OpenSearch Service proporciona compatibilidad lista para usar con más de 2200 reglas de seguridad de Sigma de código abierto para detectar posibles amenazas de seguridad mediante el filtrado de los hallazgos de seguridad. Incluso puede personalizar o utilizar las reglas de Sigma predeterminadas para detectar rápidamente posibles amenazas a la seguridad y enviar alertas a un destino preseleccionado. Utilice la compatibilidad lista para usar con varias fuentes de registro, como Windows, Netflow, AWS CloudTrail, DNS y más. 

P: ¿Qué es un análisis de seguridad?

Los análisis de seguridad de OpenSearch están diseñados para ayudar a investigar, detectar, analizar y responder a las amenazas de seguridad que podrían poner en peligro las operaciones de las funciones críticas de la empresa. Estas amenazas incluyen la posible exposición de datos confidenciales, los ciberataques y otros eventos de seguridad adversos. Incluye las herramientas y características necesarias para definir los parámetros de detección, generar alertas y responder de manera eficaz a las posibles amenazas.

P: ¿Qué tipo de registros de seguridad admite la analítica de seguridad?

Actualmente admitimos 8 tipos de registros, incluidos los registros de Netflow, los registros de DNS, los registros de acceso de Apache, los registros de Windows, los registros de AD/LDAP, los registros de sistemas Linux, los registros de AWS CloudTrail y los registros de acceso de Amazon S3

P: ¿Cómo puedo enviar estos registros de seguridad a OpenSearch?

Puede utilizar sus canalizaciones de ingesta existentes que envían datos en formato JSON a OpenSearch.

P: ¿Los análisis de seguridad proporcionan reglas de seguridad listas para usar? 

Sí, los análisis de seguridad de OpenSearch incluyen más de 2200 reglas de seguridad de Sigma para su uso inmediato con diferentes tipos de detectores de seguridad. Estas reglas se preseleccionan una vez que se proporciona una configuración mínima sobre la fuente de registro.

P: ¿Puedo crear mis propias reglas personalizadas?

Sí, se pueden agregar reglas personalizadas para los tipos de registro admitidos anteriormente. Estas reglas deben estar en formato de regla de Sigma y se pueden importar a OpenSearch antes de usarlas con un detector de seguridad.

P: ¿Tengo que convertir los registros a un formato o esquema específico? 

Sí, los registros deben estar en formato JSON. Recomendamos enviarlos en formato ECS (Elastic Common Schema)

P: ¿Tengo que pagar tasas de licencia adicionales para utilizar los análisis de seguridad? 

Los análisis de seguridad de OpenSearch están disponibles sin costo adicional ni tasas de licencia. Paga el mismo costo que pagaría por ingerir otros datos en OpenSearch Service. 

P: ¿Qué versión de OpenSearch Service admiten los análisis de seguridad? 

Security Analytics viene preinstalado con OpenSearch Service que ejecuta la versión 2.5 o superior de OpenSearch.

P: ¿Hay alguna diferencia entre los análisis de seguridad de OpenSearch y Amazon Security Lake? 

Amazon Security Lake centraliza automáticamente los datos de seguridad de orígenes personalizados, locales y en la nube en un lago de datos diseñado especialmente que se almacena en su cuenta. Estos datos agregados se normalizan en un formato común, almacenado en buckets de S3. Estos datos se pueden incorporar a OpenSearch Service, que le permite visualizar, consultar y crear informes sobre estos. Los análisis de seguridad proporcionan un motor de reglas de seguridad que puede ser de ayuda para detectar y alertar sobre posibles eventos de seguridad, así como para correlacionarlos con el objetivo de facilitar la investigación.

P: ¿Puedo usar los análisis de seguridad de OpenSearch con Amazon Security Lake? 

Sí, puede incorporar registros adicionales de Security Lake a OpenSearch y crear un detector para ejecutar las reglas pertinentes en los registros ingeridos.

Detalles de las características de OpenSearch Service:

• Consciente de los costos
• Integraciones
• Servicio administrado
• Sin servidor
• Observabilidad
• Seguridad