Incorporación de datos con Amazon Kinesis Data Firehose

Con Amazon Kinesis Firehose, puede convertir fácilmente datos de streaming sin procesar desde los orígenes de datos a los formatos requeridos por su índice de Elasticsearch y cargarlos en Amazon Elasticsearch Service, sin necesidad de crear sus propias canalizaciones de procesamiento de datos.

Para poder usar esta característica, tan solo debe seleccionar una función de AWS Lambda en la pestaña de configuración de flujo de entrega de Amazon Kinesis Firehose en la consola de administración de AWS. Amazon Kinesis Firehose aplicará automáticamente la función de AWS Lambda a cada registro de datos de entrada y cargará los datos transformados a su índice de Amazon Elasticsearch.

Amazon Kinesis Firehose proporciona planos de Lambda pregenerados que se pueden usar sin modificaciones o personalizados para convertir orígenes de datos comunes, como los registros de Apache y de sistema, a formatos JSON y CSV. También puede configurar Amazon Kinesis Firehose para que reintente de forma automática los trabajos con errores y para que cree copias de seguridad de los datos de streaming sin procesar. Más información »

 

Incorporación de datos con Logstash

Amazon Elasticsearch Service admite la integración con Logstash, una herramienta de procesamiento de datos de código abierto que recopila datos de orígenes, los transforma y luego los carga a Elasticsearch. Puede implementar Logstash en Amazon EC2 fácilmente y configurar su dominio de Amazon Elasticsearch como el almacenamiento backend para todos los registros que pasen por su implementación de Logstash. Logstash incluye una biblioteca de filtros pregenerados para realizar fácilmente transformaciones comunes, como diseccionar datos de registros no estructurados en datos estructurados mediante la correspondencia de patrones; renombrar, eliminar, reemplazar y modificar campos en sus registros de datos; y agregar métricas. Más información »

Incorporación de datos con Amazon CloudWatch Logs

Amazon CloudWatch Logs le permite utilizar los registros personalizados, del sistema y de las aplicaciones de los que ya dispone para monitorear los sistemas e identificar los problemas que surjan en sistemas y aplicaciones. Puede configurar un grupo de registros de CloudWatch Logs para transmitir datos a su dominio de Amazon Elasticsearch Service casi en tiempo real mediante una suscripción a CloudWatch Logs. Esta integración resulta útil si ya utiliza CloudWatch Logs para recopilar datos de registros y le gustaría compartirlos con sus usuarios de Amazon Elasticsearch Service. Más información »

Incorporación de datos con AWS IoT

AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. Con AWS IoT, puede registrar datos de dispositivos conectados, como aplicaciones de consumidor, sensores integrados y descodificadores de televisión. Mediante el uso de la consola de administración de AWS puede configurar AWS IoT para que cargue los datos directamente a Amazon Elasticsearch Service, lo que le permite conceder a sus clientes acceso casi en tiempo real a las métricas y los datos de IoT. Más información »

Cómo elegir el mecanismo de incorporación correcto

Elegir el mecanismo de incorporación correcto depende de los requisitos de su caso de uso, como la latencia y el tipo de datos. Para grandes volúmenes de datos recomendamos usar Amazon Kinesis Firehose, un servicio completamente administrado que se escala automáticamente para adaptarse al nivel de procesamiento de los datos y no precisa administración permanente. También puede transformar los datos, comprimirlos e incluirlos en lotes antes de cargarlos en el dominio de Amazon Elasticsearch Service. A menudo, la elección depende de los servicios que ya usa. Por ejemplo, si ya recopila registros de aplicaciones con Amazon CloudWatch Logs, simplemente puede cargar los datos en su dominio de Amazon Elasticsearch Service sin demasiado esfuerzo adicional.

Pasos siguientes

Obtenga más información sobre los precios de Amazon Elasticsearch Service

Visite la página de precios
¿Listo para crear?
Introducción a Amazon Elasticsearch Service
¿Tiene más preguntas?
Contacte con nosotros