Amazon Elasticsearch Service est un service entièrement géré qui fournit des API faciles à utiliser et des capacités en temps réel parallèlement à la disponibilité, l'évolutivité et la sécurité nécessaire aux charges de production. Amazon Elasticsearch Service est particulièrement adapté à l'analyse de journaux, la surveillance d'application, la recherche interactive et d'autres cas d'utilisation d'analyse. Cependant, la collecte, la conversion, le mappage et le chargement de données des sources de données vers votre index Elasticsearch peut se révéler une tâche difficile et chronophage. Vous devez convertir les données brutes dans un format de données structurées tel que JSON ou CSV, nettoyer les données et les mapper vers les champs de données cibles. Vous devez également traiter par lots et mettre en mémoire tampon les données pour assurer un chargement efficace de manière à ce que les données soient immédiatement disponibles pour les interrogations, sans surcharger les ressources de calcul et de mise en réseau de votre cluster. Pour accomplir facilement toutes ces tâches, vous pouvez utiliser les intégrations d'Amazon Elasticsearch Service à Amazon Kinesis Firehose, LogstashAmazon CloudWatch Logs ou AWS IoT en fonction des besoins de votre cas d'utilisation spécifique.


Amazon Kinesis Firehose vous permet de préparer vos flux de données en streaming avant leur chargement dans les entrepôts de données. Grâce à cette fonctionnalité, vous pouvez facilement convertir les données brutes en streaming provenant de vos sources de données dans les formats requis par votre index Elasticsearch, sans avoir à créer vos propres pipelines de traitement de données.

Pour utiliser cette fonctionnalité, il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de livraison Amazon Kinesis Firehose dans AWS Management Console. Amazon Kinesis Firehose applique automatiquement la fonction AWS Lambda à chaque enregistrement de données d'entrée et charge les données transformées dans votre index Amazon Elasticsearch.

Amazon Kinesis Firehose fournit des plans Lambda préconfigurés pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez utiliser ces plans préconfigurés sans effectuer aucune modification, les personnaliser davantage ou écrire vos propres fonctions personnalisées. Vous pouvez également configurer Amazon Kinesis Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en streaming. En savoir plus »


Amazon Elasticsearch Service peut être intégré à Logstash, un outil de traitement de données open source qui collecte des données depuis des sources, les transforme et les charge dans Elasticsearch. Vous pouvez facilement déployer Logstash sur Amazon EC2 et configurer votre domaine Amazon Elasticsearch en tant que stockage backend pour tous les journaux transférés via votre implémentation de Logstash. Logstash prend en charge une bibliothèque de filtres prédéfinis pour effectuer des transformations courantes telles que l'analyse de données de journal non structurées via la correspondance de modèles, le renommage, la suppression, le remplacement et la modification de champs dans vos enregistrements de données, et le regroupements de métriques. En savoir plus »


Amazon CloudWatch Logs vous permet de surveiller et de dépanner vos systèmes et vos applications à l'aide de vos fichiers journaux personnalisés et de vos fichiers journaux système et d'application existants. Vous pouvez configurer un groupe de journaux CloudWatch Logs pour envoyer vos données en streaming vers votre domaine Amazon Elasticsearch Service quasi en temps réel via un abonnement CloudWatch Logs. Cette intégration est pratique si vous utilisez déjà CloudWatch Logs pour collecter des données de journaux et si vous souhaitez partager ces données avec vos utilisateurs Amazon Elasticsearch Service. En savoir plus »


AWS IoT est une plate-forme de cloud gérée qui permet aux appareils connectés d'interagir de manière simple et sécurisée avec d'autres appareils et des applications cloud. Avec AWS IoT, vous pouvez capturer les données provenant d'appareils connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV, et configurer AWS IoT à partir d'AWS Management Console pour charger les données directement dans Amazon Elasticsearch Service. Cela vous permet de fournir à vos clients un accès quasi en temps réel aux données et métriques IoT. En savoir plus »

Le choix du bon mécanisme d'ingestion dépend des exigences de votre cas d'utilisation spécifique telles que la latence des données et le type de données. Pour de grands volumes de données, nous recommandons Amazon Kinesis Firehose, un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne requiert aucune administration continue. Ce service peut également transformer, compresser et traiter par lots des données avant de les charger dans le domaine Amazon Elasticsearch Service. Souvent, le choix se résume également aux services que vous utilisez déjà. Par exemple, si vous collectez déjà des journaux d'application à l'aide d'Amazon CloudWatch Logs, il vous suffit de charger ces données dans votre domaine Amazon Elasticsearch Service sans effort supplémentaire.

Faites vos premiers pas en profitant de notre offre gratuite, qui comprend jusqu'à 750 heures par mois d'utilisation gratuite d'une instance t2.micro.elasticsearch mono-AZ ou t2.small.elasticsearch et 10 Go par mois de stockage facultatif Amazon EBS.

Mise en route gratuite