Créez une plateforme d'analyse des journaux centralisée avec Amazon OpenSearch Service sur AWS en 20 minutes
Présentation
La journalisation centralisée avec OpenSearch aide les entreprises à collecter, ingérer et visualiser les données des journaux provenant de diverses sources à l’aide d’Amazon OpenSearch Service. Cette solution AWS fournit une console Web que vous pouvez utiliser pour créer des pipelines d’ingestion de journaux en quelques clics. Les pipelines d’ingestion de journaux incluent le déploiement d’agents de collecte de journaux, l’enrichissement des journaux sans écrire de code, la création de couches tampons et la configuration de l’index OpenSearch. Une fois les journaux stockés dans OpenSearch Service, la solution génère automatiquement des tableaux de bord prêts à l'emploi pour analyser les journaux des services AWS et les journaux des applications dans différents formats (par exemple, Nginx, JSON et Spring Boot). En combinaison avec d’autres services AWS, cette solution vous fournit un environnement clé en main pour commencer à enregistrer et à surveiller vos applications AWS.
Nouveautés
- Ajout de Light Engine pour fournir un moteur d’analyse des journaux rentable et sans serveur basé sur Amazon Athena
- Ajout de l'ingestion d'Amazon OpenSearch pour fournir davantage de capacités de traitement des journaux
Pour en savoir plus sur les autres nouvelles fonctionnalités, consultez la page Révisions.
Avantages
Utilisez une console Web depuis votre compte AWS pour ingérer les journaux des applications et des services AWS, puis analysez les journaux à l'aide de tableaux de bord de visualisation.
Les technologies sans serveur dotées d'une haute disponibilité intégrée et d'un modèle de facturation payant à l'utilisation réduisent le besoin de gestion de l'infrastructure, ce qui vous permet de vous concentrer davantage sur la création d'analyses de journaux pour votre entreprise.
La solution est open source et gratuite pour un usage commercial. Vous ne payez que pour l'utilisation d'AWS. Vous pouvez prendre le code source comme référence pour réaliser votre propre implémentation en fonction de vos besoins.
Détails techniques
Vous pouvez déployer automatiquement cette architecture à l’aide du guide d’implémentation et des modèles AWS CloudFormation pour les régions AWS ou les régions AWS de Chine.
Étape 1
Amazon CloudFront distribue les ressources de l’interface utilisateur (UI) Web du frontend hébergées dans un compartiment Amazon Simple Storage Service (Amazon S3).
Étape 2
Le groupe d'utilisateurs Amazon Cognito ou le connecteur OpenID (OIDC) peuvent être utilisés pour l'authentification.
Étape 3
AWS AppSync fournit les API GraphQL du backend.
Étape 4
Amazon DynamoDB stocke les informations relatives à la solution sous forme de base de données principale.
Étape 5
AWS Lambda interagit avec d’autres services AWS pour traiter la logique de base de la gestion des pipelines de journalisation ou des agents de journalisation et obtient des informations mises à jour dans des tables DynamoDB.
Étape 6
AWS Step Functions orchestre le déploiement à la demande de CloudFormation d’un jeu de piles prédéfinies pour la gestion du pipeline de journaux. Les piles du pipeline de journaux déploient des ressources AWS distinctes et sont utilisées pour collecter et traiter les journaux et les intégrer dans Amazon OpenSearch Service pour une analyse et une visualisation plus poussées.
Étape 7
Le pipeline de journaux de service ou le pipeline de journaux d’applications sont approvisionnés à la demande via la console de journalisation centralisée avec OpenSearch.
Étape 8
AWS Systems Manager et Amazon EventBridge gèrent les agents de journalisation pour collecter les journaux des serveurs d'applications, par exemple en installant des agents de journalisation (Fluent Bit) pour les serveurs d'applications et en surveillant l'état des agents.
Étape 9
Amazon Elastic Compute Cloud (Amazon EC2) ou Amazon Elastic Kubernetes Service (Amazon EKS) installe les agents Fluent Bit et télécharge les données du journal dans le pipeline des journaux d’applications.
Étape 10
Les pipelines de journaux d’application lisent, analysent et traitent les journaux d’application et les intègrent dans les domaines OpenSearch Service ou Light Engine.
Étape 11
Les pipelines de journaux de service lisent, analysent et traitent les journaux de service AWS et les intègrent dans les domaines OpenSearch Service ou Light Engine.
Étape 1
Amazon CloudFront distribue les ressources de l’interface utilisateur (UI) Web du frontend hébergées dans un compartiment Amazon Simple Storage Service (Amazon S3).
Étape 2
Le groupe d'utilisateurs Amazon Cognito ou le connecteur OpenID (OIDC) peuvent être utilisés pour l'authentification.
Étape 3
AWS AppSync fournit les API GraphQL du backend.
Étape 4
Amazon DynamoDB stocke les informations relatives à la solution sous forme de base de données principale.
Étape 5
AWS Lambda interagit avec d’autres services AWS pour traiter la logique de base de la gestion des pipelines de journalisation ou des agents de journalisation et obtient des informations mises à jour dans des tables DynamoDB.
Étape 6
AWS Step Functions orchestre le déploiement à la demande de CloudFormation d’un jeu de piles prédéfinies pour la gestion du pipeline de journaux. Les piles du pipeline de journaux déploient des ressources AWS distinctes et sont utilisées pour collecter et traiter les journaux et les intégrer dans Amazon OpenSearch Service pour une analyse et une visualisation plus poussées.
Étape 7
Le pipeline de journaux de service ou le pipeline de journaux d’applications sont approvisionnés à la demande via la console de journalisation centralisée avec OpenSearch.
Étape 8
AWS Systems Manager et Amazon EventBridge gèrent les agents de journalisation pour collecter les journaux des serveurs d'applications, par exemple en installant des agents de journalisation (Fluent Bit) pour les serveurs d'applications et en surveillant l'état des agents.
Étape 9
Amazon Elastic Compute Cloud (Amazon EC2) ou Amazon Elastic Kubernetes Service (Amazon EKS) installe les agents Fluent Bit et télécharge les données du journal dans le pipeline des journaux d’applications.
Étape 10
Les pipelines de journaux d’application lisent, analysent et traitent les journaux d’application et les intègrent dans les domaines OpenSearch Service ou Light Engine.
Étape 11
Les pipelines de journaux de service lisent, analysent et traitent les journaux de service AWS et les intègrent dans les domaines OpenSearch Service ou Light Engine.
Rubriques connexes
Cette image montre un aperçu de la console Web pour la journalisation centralisée avec OpenSearch.
Ce blog décrit la fonctionnalité d’Amazon CloudWatch permettant de rechercher, d’analyser et de corréler les données télémétriques multicomptes stockées dans CloudWatch, telles que les métriques, les journaux et les traces.
- Date de publication
Lancement avec un VPC existant dans les régions AWS
Lancement avec un nouveau VPC dans les régions AWS de Chine
Lancement avec un VPC existant dans les régions chinoises