Ingestion de données à l'aide d'Amazon Kinesis Data Firehose

Grâce à Amazon Kinesis Firehose, vous pouvez facilement convertir les données brutes en streaming provenant de vos sources de données dans les formats requis par votre index Elasticsearch ou OpenSearch et les charger dans Amazon OpenSearch Service, sans avoir à créer vos propres pipelines de traitement de données.

Pour utiliser cette fonctionnalité, il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de diffusion Amazon Kinesis Firehose dans la Console de gestion AWS. Amazon Kinesis Firehose applique automatiquement la fonction AWS Lambda à chaque enregistrement de données d'entrée et charge les données transformées dans votre index Amazon OpenSearch Service.

Amazon Kinesis Firehose fournit des plans Lambda pré-intégrés pouvant être utilisés sans modification ni personnalisation pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez également configurer Amazon Kinesis Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en streaming. En savoir plus »

 

Ingestion de données à l'aide de Logstash

Amazon OpenSearch Service peut être intégré à Logstash, un outil de traitement de données open source qui collecte des données depuis des sources, les transforme et les charge dans Elasticsearch ou OpenSearch. Vous pouvez facilement déployer Logstash sur Amazon EC2 et configurer votre domaine Amazon OpenSearch Service en tant que stockage backend pour tous les journaux transférés via votre implémentation de Logstash. Logstash prend en charge une bibliothèque de filtres pré-intégrés pour effectuer des transformations courantes telles que l'analyse de données de journal non structurées via la correspondance de modèles, le renommage, la suppression, le remplacement et la modification de champs dans vos enregistrements de données, et le regroupements de métriques. En savoir plus »

Intégration de données à l'aide d'Amazon CloudWatch Logs

Amazon CloudWatch Logs vous permet de surveiller et de dépanner vos systèmes et vos applications à l'aide de vos fichiers journaux personnalisés et de vos fichiers journaux système et d'application existants. Vous pouvez configurer un groupe de journaux CloudWatch Logs pour envoyer vos données en streaming vers votre domaine Amazon OpenSearch Service en temps quasi réel via un abonnement CloudWatch Logs. Cette intégration est pratique si vous utilisez déjà CloudWatch Logs pour collecter des données de journaux et si vous souhaitez partager ces données avec vos utilisateurs Amazon OpenSearch Service. En savoir plus »

Intégration de données à l'aide d'AWS IoT

AWS IoT est une plateforme cloud gérée qui permet aux appareils connectés d'interagir de manière simple et sécurisée avec d'autres appareils et des applications cloud. Avec AWS IoT, vous pouvez capturer les données provenant de dispositifs connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV. Grâce à la Console de gestion AWS, vous pouvez configurer AWS IoT pour charger les données directement dans Amazon OpenSearch Service, ce qui vous permet d'offrir à vos clients un accès en temps quasi réel aux données et métriques IoT. En savoir plus »

Comment choisir le bon mécanisme d'intégration

Le choix du bon mécanisme d'ingestion dépend des exigences de votre cas d'utilisation telles que la latence des données et le type de données. Pour de grands volumes de données, nous recommandons d'utiliser Amazon Kinesis Data Firehose, un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne requiert aucune administration continue. Ce service peut également transformer, compresser et traiter par lots des données avant de les charger dans le domaine Amazon OpenSearch Service. Souvent, le choix se résume également aux services que vous utilisez déjà. Par exemple, si vous collectez déjà des journaux d'application à l'aide d'Amazon CloudWatch Logs, il vous suffit de charger ces données dans votre domaine Amazon OpenSearch Service sans effort supplémentaire.

Étapes suivantes

En savoir plus sur la tarification Amazon OpenSearch Service

Visiter la page de tarification
Prêt à concevoir ?
Démarrage avec Amazon OpenSearch Service
D'autres questions ?
Contactez-nous