Intégration de données à l'aide d'Amazon Kinesis Firehose

Grâce à Amazon Kinesis Firehose, vous pouvez facilement convertir les données brutes en streaming provenant de vos sources de données dans les formats requis par votre index et les charger dans Amazon Elasticsearch Service, sans avoir à créer vos propres pipelines de traitement de données.

Pour utiliser cette fonctionnalité, il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de livraison Amazon Kinesis Firehose dans AWS Management Console. Amazon Kinesis Firehose applique automatiquement la fonction AWS Lambda à chaque enregistrement de données d'entrée et charge les données transformées dans votre index Amazon Elasticsearch.

Amazon Kinesis Firehose fournit des plans Lambda préconfigurés pouvant être utilisés sans modification ni personnalisation pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez également configurer Amazon Kinesis Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en streaming. En savoir plus »

 

Intégration de données à l'aide de Logstash

Amazon Elasticsearch Service peut être intégré à Logstash, un outil de traitement de données open source qui collecte des données depuis des sources, les transforme et les charge dans Elasticsearch. Vous pouvez facilement déployer Logstash sur Amazon EC2 et configurer votre domaine Amazon Elasticsearch en tant que stockage backend pour tous les journaux transférés via votre implémentation de Logstash. Logstash prend en charge une bibliothèque de filtres prédéfinis pour effectuer des transformations courantes telles que l'analyse de données de journal non structurées via la correspondance de modèles, le renommage, la suppression, le remplacement et la modification de champs dans vos enregistrements de données, et le regroupements de métriques. En savoir plus »

Intégration de données à l'aide d'Amazon CloudWatch Logs

Amazon CloudWatch Logs vous permet de surveiller et de dépanner vos systèmes et vos applications à l'aide de vos fichiers journaux personnalisés et de vos fichiers journaux système et d'application existants. Vous pouvez configurer un groupe de journaux CloudWatch Logs pour envoyer vos données en streaming vers votre domaine Amazon Elasticsearch Service quasi en temps réel via un abonnement CloudWatch Logs. Cette intégration est pratique si vous utilisez déjà CloudWatch Logs pour collecter des données de journaux et si vous souhaitez partager ces données avec vos utilisateurs Amazon Elasticsearch Service. En savoir plus »

Intégration de données à l'aide d'AWS IoT

AWS IoT est une plateforme cloud gérée qui permet aux appareils connectés d'interagir de manière simple et sécurisée avec d'autres appareils et des applications cloud. Avec AWS IoT, vous pouvez capturer les données provenant d'appareils connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV. Grâce à l’AWS Management Console, vous pouvez configurer AWS IoT pour charger les données directement dans Amazon Elasticsearch Service, ce qui vous permet d’offrir à vos clients un accès quasiment en temps réel aux données et métriques IoT. En savoir plus »

Comment choisir le bon mécanisme d'intégration

Le choix du bon mécanisme d'intégration dépend des exigences de votre cas d'utilisation telles que la latence des données et le type de données. Pour de grands volumes de données, nous recommandons d’utiliser Amazon Kinesis Firehose, un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne requiert aucune administration continue. Ce service peut également transformer, compresser et traiter par lots des données avant de les charger dans le domaine Amazon Elasticsearch Service. Souvent, le choix se résume également aux services que vous utilisez déjà. Par exemple, si vous collectez déjà des journaux d'application à l'aide d'Amazon CloudWatch Logs, il vous suffit de charger ces données dans votre domaine Amazon Elasticsearch Service sans effort supplémentaire.

Étapes suivantes

En savoir plus sur la tarification d’Amazon Elasticsearch Service

Visiter la page de tarification
Prêt à concevoir ?
Démarrer avec Amazon Elasticsearch Service
D'autres questions ?
Contactez-nous