Puede configurar Amazon Kinesis Firehose para que prepare los datos de streaming antes de cargarlos a Amazon Elasticsearch Service. Con esta característica, puede convertir fácilmente datos de streaming sin procesar desde los orígenes de datos a los formatos requeridos por su índice de Elasticsearch, sin necesidad de crear sus propias canalizaciones de procesamiento de datos.
Para poder usar esta característica, tan solo debe seleccionar una función de AWS Lambda en la pestaña de configuración de flujo de entrega de Amazon Kinesis Firehose en la consola de administración de AWS. Amazon Kinesis Firehose aplicará automáticamente la función de AWS Lambda a cada registro de datos de entrada y cargará los datos transformados a su índice de Amazon Elasticsearch.
Amazon Kinesis Firehose proporciona planos de Lambda pregenerados para convertir orígenes de datos comunes, como los logs de Apache y de sistema, a formatos JSON y CSV. Puede utilizar estos planos pregenerados sin ningún cambio o personalizarlos más, o bien escribir sus propias funciones personalizadas. También puede configurar Amazon Kinesis Firehose para que reintente de forma automática los trabajos con errores y para que cree backups de los datos de streaming sin procesar. Más información »
Amazon Elasticsearch Service admite la integración con Logstash, una herramienta de procesamiento de datos de código abierto que recopila datos de orígenes, los transforma y luego los carga a Elasticsearch. Puede implementar Logstash en Amazon EC2 fácilmente y configurar su dominio de Amazon Elasticsearch como el almacenamiento backend para todos los registros que pasen por su implementación de Logstash. Logstash incluye una biblioteca de filtros pregenerados para realizar fácilmente transformaciones comunes, como diseccionar datos de log no estructurados en datos estructurados mediante la correspondencia de patrones; renombrar, eliminar, reemplazar y modificar campos en sus registros de datos; y englobar métricas. Más información »
Amazon CloudWatch Logs le permite utilizar los logs personalizados, del sistema y de las aplicaciones de los que ya dispone para monitorizar los sistemas e identificar los problemas que surjan en sistemas y aplicaciones. Puede configurar un grupo de logs de CloudWatch Logs para transmitir datos a su dominio de Amazon Elasticsearch Service casi en tiempo real mediante una suscripción a CloudWatch Logs. Esta integración resulta útil si ya utiliza CloudWatch Logs para recopilar datos de logs y le gustaría compartirlos con sus usuarios de Amazon Elasticsearch Service. Más información »
AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. Con AWS IoT, puede registrar datos de dispositivos conectados como aplicaciones para consumidores, sensores integrados y descodificadores de televisión. También puede configurar AWS IoT desde la consola de administración de AWS para cargar los datos directamente a Amazon Elasticsearch Service. Esto le permite ofrecer a sus clientes acceso casi en tiempo real a métricas y datos de IoT. Más información »
Elegir el mecanismo de incorporación correcto depende de los requisitos de su caso de uso en particular, como la latencia y el tipo de datos. Para grandes volúmenes de datos, recomendamos Amazon Kinesis Firehose, un servicio completamente administrado que se escala automáticamente para adaptarse al desempeño de los datos y no precisa administración permanente. También puede transformar los datos, comprimirlos e incluirlos en lotes antes de cargarlos en el dominio de Amazon Elasticsearch Service. A menudo, la elección depende de los servicios que ya usa. Por ejemplo, si ya recopila logs de aplicaciones con Amazon CloudWatch Logs, simplemente puede cargar los datos en su dominio de Amazon Elasticsearch Service sin demasiado esfuerzo adicional.
- Pruebe este laboratorio práctico gratuito de 30 minutos »
- Cree una solución de análisis de logs con este tutorial paso a paso »
Comience con nuestra capa gratuita, que proporciona hasta 750 horas al mes de uso gratuito de una instancia single-AZ t2.micro.elasticsearch o t2.small.easticsearch y 10 GB al mes de almacenamiento de Amazon EBS opcional.
