Mit Amazon OpenSearch Service in AWS in 20 Minuten eine zentralisierte Protokollanalytikplattform erstellen
Übersicht
Die zentralisierte Protokollierung mit OpenSearch hilft Unternehmen dabei, Protokolldaten aus verschiedenen Quellen mithilfe von Amazon OpenSearch Service zu erfassen, aufzunehmen und zu visualisieren. Diese Lösung bietet eine webbasierte Konsole, mit der Sie mit wenigen Klicks Protokollaufnahme-Pipelines erstellen können. Zu den Protokollaufnahme-Pipelines gehören die Bereitstellung von Agenten für die Protokollerfassung, die Protokollanreicherung ohne das Schreiben von Codes, die Erstellung von Pufferschichten und die OpenSearch-Indexkonfiguration. Nachdem die Protokolle in OpenSearch Service gespeichert wurden, generiert die Lösung automatisch sofort einsatzbereite Dashboards zur Analyse von AWS-Serviceprotokollen und Anwendungsprotokollen in verschiedenen Formaten (z. B. Nginx, JSON und Spring Boot). In Kombination mit anderen AWS-Services bietet Ihnen diese Lösung eine sofort einsatzbereite Plattform, mit der Sie mit der Protokollierung und Überwachung Ihrer AWS-Umgebung und -Anwendungen beginnen können.
Vorteile
Sie können die Lösung einfach in Ihrem AWS-Konto bereitstellen und eine Webkonsole verwenden, um sowohl Anwendungsprotokolle als auch AWS-Serviceprotokolle aufzunehmen. Mit sofort einsatzbereiten Visualisierungs-Dashboards können Sie Protokolle schnell analysieren.
Die Lösung ist Open Source und für die kommerzielle Nutzung kostenlos. Sie zahlen nur für die AWS-Nutzung. Wenn Sie verschiedene Anwendungsfälle haben, können Sie den Quellcode als Referenz verwenden, um Ihre eigene Implementierung zu erstellen.
Technische Details
Das folgende Schaubild zeigt die Architektur, die Sie mithilfe des Handbuchs für die Lösungsimplementierung und der dazugehörigen Amazon-CloudFormation-Vorlage automatisch bereitstellen können.
Schritt 1
Amazon CloudFront verteilt die Elemente der Frontend-Web-Benutzeroberfläche, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet werden.
Schritt 2
Der Amazon-Cognito-Benutzerpool oder OpenID Connector (OIDC) können für die Authentifizierung verwendet werden.
Schritt 3
AWS AppSync stellt die Backend-GraphQL-APIs bereit.
Schritt 4
Amazon DynamoDB speichert die lösungsbezogenen Informationen als Backend-Datenbank.
Schritt 5
AWS Lambda interagiert mit anderen AWS-Services, um die Kernlogik der Verwaltung von Protokoll-Pipelines oder Protokoll-Agenten zu verarbeiten, und ruft in DynamoDB-Tabellen aktualisierte Informationen ab.
Schritt 6
AWS Step Functions orchestriert die On-Demand-Bereitstellung von AWS CloudFormation einer Reihe vordefinierter Stacks für die Verwaltung der Protokoll-Pipelines. Die Protokoll-Pipeline-Stacks stellen separate AWS-Ressourcen bereit und werden verwendet, um Protokolle zu erfassen und zu verarbeiten und sie zur weiteren Analyse und Visualisierung in Amazon OpenSearch Service aufzunehmen.
Schritt 7
Die Serviceprotokoll-Pipeline oder die Anwendungsprotokoll-Pipeline wird auf Anfrage über die zentrale Protokollierung mit der OpenSearch-Konsole bereitgestellt.
Schritt 8
AWS Systems Manager und Amazon EventBridge verwalten Protokollagenten für die Erfassung von Protokollen von Anwendungsservern, z. B. die Installation von Protokoll-Agenten (Fluent Bit) für Anwendungsserver und die Überwachung des Integritätsstatus der Agenten.
Schritt 9
Amazon EC2 oder Amazon EKS installiert Fluent-Bit-Agenten und lädt Protokolldaten in die Anwendungsprotokoll-Pipeline hoch.
Schritt 10
Anwendungsprotokoll-Pipelines lesen, analysieren und verarbeiten Anwendungsprotokolle und nehmen sie in Amazon-OpenSearch-Service-Domains auf.
Schritt 11
Serviceprotokoll-Pipelines lesen, analysieren und verarbeiten AWS-Serviceprotokolle und nehmen sie in Amazon-OpenSearch-Service-Domains auf.
Schritt 1
Amazon CloudFront verteilt die Elemente der Frontend-Web-Benutzeroberfläche, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet werden.
Schritt 2
Der Amazon-Cognito-Benutzerpool oder OpenID Connector (OIDC) können für die Authentifizierung verwendet werden.
Schritt 3
AWS AppSync stellt die Backend-GraphQL-APIs bereit.
Schritt 4
Amazon DynamoDB speichert die lösungsbezogenen Informationen als Backend-Datenbank.
Schritt 5
AWS Lambda interagiert mit anderen AWS-Services, um die Kernlogik der Verwaltung von Protokoll-Pipelines oder Protokoll-Agenten zu verarbeiten, und ruft in DynamoDB-Tabellen aktualisierte Informationen ab.
Schritt 6
AWS Step Functions orchestriert die On-Demand-Bereitstellung von AWS CloudFormation einer Reihe vordefinierter Stacks für die Verwaltung der Protokoll-Pipelines. Die Protokoll-Pipeline-Stacks stellen separate AWS-Ressourcen bereit und werden verwendet, um Protokolle zu erfassen und zu verarbeiten und sie zur weiteren Analyse und Visualisierung in Amazon OpenSearch Service aufzunehmen.
Schritt 7
Die Serviceprotokoll-Pipeline oder die Anwendungsprotokoll-Pipeline wird auf Anfrage über die zentrale Protokollierung mit der OpenSearch-Konsole bereitgestellt.
Schritt 8
AWS Systems Manager und Amazon EventBridge verwalten Protokollagenten für die Erfassung von Protokollen von Anwendungsservern, z. B. die Installation von Protokoll-Agenten (Fluent Bit) für Anwendungsserver und die Überwachung des Integritätsstatus der Agenten.
Schritt 9
Amazon EC2 oder Amazon EKS installiert Fluent-Bit-Agenten und lädt Protokolldaten in die Anwendungsprotokoll-Pipeline hoch.
Schritt 10
Anwendungsprotokoll-Pipelines lesen, analysieren und verarbeiten Anwendungsprotokolle und nehmen sie in Amazon-OpenSearch-Service-Domains auf.
Schritt 11
Serviceprotokoll-Pipelines lesen, analysieren und verarbeiten AWS-Serviceprotokolle und nehmen sie in Amazon-OpenSearch-Service-Domains auf.
Ähnliche Inhalte
Eine neue Funktion zum Suchen, Analysieren und Korrelieren kontoübergreifender Telemetriedaten, die in CloudWatch gespeichert sind, wie Metriken, Protokolle und Traces.
Mit einer vorhandenen VPC in AWS-Regionen starten
Mit einer neuen VPC in den AWS-Regionen in China starten
Mit einer bestehenden VPC in den Regionen in China starten