La journalisation centralisée sur AWS deviendra obsolète le 1er mars 2024. Elle est remplacée par la solution de journalisation centralisée avec OpenSearch. Après l'obsolescence, tous les déploiements existants continueront de fonctionner, mais la solution ne sera plus prise en charge ni maintenue. Si vous n'utilisez pas de déploiements régionaux GovCloud, nous vous recommandons vivement de migrer vers la version 2.0.0 ou une version ultérieure de la solution journalisation centralisée avec OpenSearch en suivant les étapes décrites dans le guide de mise en œuvre de la journalisation centralisée sur AWS.
Présentation
La solution de journalisation centralisée sur AWS aide les organisations à collecter, analyser et afficher les journaux Amazon CloudWatch Logs dans un seul tableau de bord. Cette solution consolide, gère et analyse les fichiers journaux provenant de diverses sources, telles que les journaux d'audit des accès, des modifications de configuration et des événements de facturation. Vous pouvez également collecter Amazon CloudWatch Logs depuis plusieurs comptes et régions AWS.
Cette solution utilise Amazon OpenSearch Service et Kibana, une plateforme d'analytique et de visualisation intégrée à Amazon OpenSearch Service, qui permet d'obtenir une vue unifiée de tous les évènements du journal. Combinée à d'autres AWS Managed Services, cette solution fournit un environnement clé en main pour démarrer la journalisation et l'analyse de votre environnement et de vos applications AWS.
Les formats de journaux pris en charge sont les suivants : Amazon VPC Flow Logs, AWS CloudTrail, AWS Lambda, Common Log Format, Space Delimited, JSON, journaux du serveur Web Apache et autres formats (définis par l'utilisateur).
Avantages
Le modèle AWS CloudFormation lance et configure automatiquement les composants nécessaires pour télécharger les fichiers journaux de plusieurs comptes et régions AWS vers Amazon OpenSearch Service afin de les analyser et de les visualiser dans un tableau de bord personnalisable et convivial.
Contrôlez l'accès à vos tableaux de bord en utilisant Amazon Cognito pour simplifier l'authentification vers Amazon OpenSearch Service.
Élargissez vos fonctionnalités de journalisation au-delà des journaux par défaut des services AWS. Cette solution flexible comprend des exemples de capture de fichiers de journaux au niveau de l'hôte et de journaux de flux de VPC. Elle est conçue pour mettre à l'échelle votre croissance.
Simplifiez la visualisation des données à l'aide du support intégré Amazon OpenSearch Service pour Kibana, notamment un ensemble par défaut de tableaux de bord préconfigurés qui vous donnent un premier aperçu des fonctionnalités de personnalisation de Kibana.
Détails techniques
La solution de journalisation centralisée sur AWS contient les composants suivants : ingestion de journaux, indexation de journaux et visualisation. Vous devez déployer le modèle AWS CloudFormation dans le compte AWS où vous avez l'intention de stocker vos données de journaux.
Étape 1 : Ingestion des journaux
Les destinations Amazon CloudWatch Logs sont déployées dans le compte principal et sont créées avec les autorisations requises dans chacune des régions sélectionnées. Vous pouvez configurer les filtres d'abonnement des journaux CloudWatch pour que les groupes de journaux soient transférés sur le compte AWS de Journalisation Centralisée.
Étape 1b : Ingestion du journal
Vous pouvez déployer un modèle AWS CloudFormation de démonstration facultatif pour générer des exemples de journaux CloudWatch Logs pour AWS CloudTrail, des journaux de flux Amazon Virtual Private Cloud (Amazon VPC) et un serveur web Amazon Elastic Compute Cloud (Amazon EC2).
Étape 2a : Indexation du journal
Un Amazon Kinesis Data Streams et un Amazon Kinesis Data Firehose centralisés sont alloués pour indexer les événements de journaux sur le domaine Amazon OpenSearch Service centralisé. Les destinations des CloudWatch Logs créées pour diffuser les événements de journaux ont comme cible Kinesis Data Streams.
Étape 2b : Indexation du journal
Une fois que les flux d'évènements de journaux sont transférés vers Kinesis Data Streams, le service appelle une fonction AWS Lambda pour transformer chaque évènement de journal en document Amazon OpenSearch Service, qui est ensuite transmis vers Kinesis Data Firehose. Vous pouvez contrôler Kinesis Data Firehose lorsqu'il envoie des CloudWatch Logs personnalisés contenant des données de surveillance détaillées pour chaque flux de diffusion.
Étape 3 : Visualisation
Amazon OpenSearch Service et Kibana fournissent un support pour la visualisation et l'exploration des données. Un domaine Amazon OpenSearch Service est créé à l'intérieur d'un Amazon VPC, ce qui empêche l'accès public au tableau de bord Kibana. Si vous le souhaitez, vous pouvez lancer un serveur Jumpbox de Microsoft Windows pour accéder au cluster Amazon OpenSearch Service et au tableau de bord Kibana.
Étape 1 : Ingestion des journaux
Les destinations Amazon CloudWatch Logs sont déployées dans le compte principal et sont créées avec les autorisations requises dans chacune des régions sélectionnées. Vous pouvez configurer les filtres d'abonnement des journaux CloudWatch pour que les groupes de journaux soient transférés sur le compte AWS de Journalisation Centralisée.
Étape 1b : Ingestion du journal
Vous pouvez déployer un modèle AWS CloudFormation de démonstration facultatif pour générer des exemples de journaux CloudWatch Logs pour AWS CloudTrail, des journaux de flux Amazon Virtual Private Cloud (Amazon VPC) et un serveur web Amazon Elastic Compute Cloud (Amazon EC2).
Étape 2a : Indexation du journal
Un Amazon Kinesis Data Streams et un Amazon Kinesis Data Firehose centralisés sont alloués pour indexer les événements de journaux sur le domaine Amazon OpenSearch Service centralisé. Les destinations des CloudWatch Logs créées pour diffuser les événements de journaux ont comme cible Kinesis Data Streams.
Étape 2b : Indexation du journal
Une fois que les flux d'évènements de journaux sont transférés vers Kinesis Data Streams, le service appelle une fonction AWS Lambda pour transformer chaque évènement de journal en document Amazon OpenSearch Service, qui est ensuite transmis vers Kinesis Data Firehose. Vous pouvez contrôler Kinesis Data Firehose lorsqu'il envoie des CloudWatch Logs personnalisés contenant des données de surveillance détaillées pour chaque flux de diffusion.
Étape 3 : Visualisation
Amazon OpenSearch Service et Kibana fournissent un support pour la visualisation et l'exploration des données. Un domaine Amazon OpenSearch Service est créé à l'intérieur d'un Amazon VPC, ce qui empêche l'accès public au tableau de bord Kibana. Si vous le souhaitez, vous pouvez lancer un serveur Jumpbox de Microsoft Windows pour accéder au cluster Amazon OpenSearch Service et au tableau de bord Kibana.