Ingesta de datos con Amazon Kinesis Data Firehose

Con Amazon Kinesis Firehose, puede convertir fácilmente datos de streaming sin procesar desde los orígenes de datos a los formatos requeridos por su índice de Elasticsearch u OpenSearch y cargarlos en Amazon OpenSearch Service, sin necesidad de crear sus propias canalizaciones de procesamiento de datos.

Para poder usar esta característica, tan solo debe seleccionar una función de AWS Lambda en la pestaña de configuración de flujo de entrega de Amazon Kinesis Firehose en la consola de administración de AWS. Amazon Kinesis Firehose aplicará automáticamente la función de AWS Lambda a cada registro de datos de entrada y cargará los datos transformados a su índice de Amazon OpenSearch.

Amazon Kinesis Firehose proporciona planos de Lambda pregenerados que se pueden usar sin modificaciones o personalizados para convertir orígenes de datos comunes, como los registros de Apache y de sistema, a formatos JSON y CSV. También puede configurar Amazon Kinesis Firehose para que reintente de forma automática los trabajos con errores y para que cree copias de seguridad de los datos de streaming sin procesar. Más información »

 

Ingesta de datos con Logstash

Amazon OpenSearch Service admite la integración con Logstash, una herramienta de procesamiento de datos de código abierto que recopila datos de orígenes, los transforma y luego los carga a Elasticsearch u OpenSearch. Puede implementar Logstash en Amazon EC2 fácilmente y configurar su dominio de Amazon OpenSearch Service como el almacenamiento backend para todos los registros que pasen por su implementación de Logstash. Logstash incluye una biblioteca de filtros pregenerados para realizar fácilmente transformaciones comunes, como diseccionar datos de registros no estructurados en datos estructurados mediante la correspondencia de patrones; renombrar, eliminar, reemplazar y modificar campos en sus registros de datos; y agregar métricas. Más información »

Incorporación de datos con Amazon CloudWatch Logs

Amazon CloudWatch Logs le permite utilizar los archivos de registros personalizados, del sistema y de las aplicaciones de los que ya dispone para monitorear los sistemas e identificar los problemas que surjan en sistemas y aplicaciones. Puede configurar un grupo de registros de CloudWatch Logs para transmitir datos a su dominio de Amazon OpenSearch Service casi en tiempo real mediante una suscripción a CloudWatch Logs. Esta integración resulta útil si ya utiliza CloudWatch Logs para recopilar datos de registros y le gustaría compartirlos con sus usuarios de Amazon OpenSearch Service. Más información »

Incorporación de datos con AWS IoT

AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. Con AWS IoT, puede registrar datos de dispositivos conectados, como aplicaciones de consumidor, sensores integrados y decodificadores de televisión. Mediante el uso de la consola de administración de AWS puede configurar AWS IoT para que cargue los datos directamente a Amazon OpenSearch Service, lo que le permite conceder a sus clientes acceso casi en tiempo real a las métricas y los datos de IoT. Más información »

Cómo elegir el mecanismo de incorporación correcto

Elegir el mecanismo de ingesta correcto depende de los requisitos de su caso de uso, como la latencia y el tipo de datos. Para grandes volúmenes de datos recomendamos usar Amazon Kinesis Data Firehose, un servicio completamente administrado que se escala automáticamente para adaptarse al rendimiento de los datos y no precisa administración permanente. También puede transformar los datos, comprimirlos e incluirlos en lotes antes de cargarlos en el dominio de Amazon OpenSearch Service. A menudo, la elección depende de los servicios que ya usa. Por ejemplo, si ya recopila registros de aplicaciones con Amazon CloudWatch Logs, simplemente puede cargar los datos en su dominio de Amazon OpenSearch Service sin demasiado esfuerzo adicional.

Pasos siguientes

Más información sobre los precios de Amazon OpenSearch Service

Visite la página de precios
¿Todo listo para crear?
Introducción a Amazon OpenSearch Service
¿Tiene más preguntas?
Contacte con nosotros