Übersicht
Die zentralisierte Protokollierungslösung auf AWS ermöglicht es Unternehmen, Amazon CloudWatch Logs in einem einzigen Dashboard zu sammeln, zu analysieren und anzuzeigen. Diese Lösung konsolidiert, verwaltet und analysiert Protokolldateien aus verschiedenen Quellen, wie z. B. Audit-Protokolle für Zugriffe, Konfigurationsänderungen und Abrechnungsereignisse. Sie können auch Amazon CloudWatch Logs von mehreren Konten und AWS-Regionen sammeln.
Diese Lösung verwendet Amazon OpenSearch Service und Kibana, eine Analyse- und Visualisierungsplattform, die in Amazon OpenSearch Service integriert ist und eine einheitliche Ansicht aller Protokollereignisse bietet. In Kombination mit anderen AWS Managed Services bietet Ihnen diese Lösung eine schlüsselfertige Umgebung, um mit der Protokollierung und Analyse Ihrer AWS-Umgebung und -Anwendungen zu beginnen.
Unterstützte Protokollformate umfassen Amazon VPC Flow Logs, AWS CloudTrail, AWS Lambda, Common Log Format, Space Delimited, JSON, Apache-Webserverprotokolle und weitere (benutzerdefinierte) Formate.
Vorteile
Die AWS-CloudFormation-Vorlage startet und konfiguriert automatisch die Komponenten, die erforderlich sind, um Protokolldateien von mehreren Konten und AWS-Regionen in Amazon OpenSearch Service hochzuladen, um sie in einem anpassbaren, benutzerfreundlichen Dashboard zu analysieren und zu visualisieren.
Kontrollieren Sie den Zugriff auf Ihre Dashboards mit Amazon Cognito, um die Authentifizierung beim Amazon OpenSearch Service zu vereinfachen.
Erweitern Sie Ihre Protokollierungsfunktionen über die standardmäßigen AWS-Serviceprotokolle hinaus. Diese flexible Lösung enthält Beispiele für die Erfassung von Protokolldateien auf Hostebene und VPC-Flussprotokollen und wurde entwickelt, um mit Ihrem wachsenden Unternehmen zu skalieren.
Vereinfachen Sie die Datenvisualisierung mit der integrierten Amazon-OpenSearch-Service-Unterstützung für Kibana, einschließlich eines Standardsatzes von vorkonfigurierten Dashboards, die Ihnen einen ersten Einblick in die Anpassungsmöglichkeiten von Kibana geben.
Technische Details
Die zentralisierte Protokollierungslösung in AWS enthält die folgenden Komponenten: Protokollaufnahme, Protokollindizierung und Visualisierung. Sie müssen die AWS-CloudFormation-Vorlage in dem AWS-Konto bereitstellen, in dem Sie Ihre Protokolldaten speichern möchten.
Schritt 1a – Protokollaufnahme
Amazon-CloudWatch-Logs-Ziele werden im primären Konto bereitgestellt und mit den erforderlichen Berechtigungen in jeder der ausgewählten Regionen erstellt. Sie können CloudWatch-Logs-Abonnementfilter für Protokollgruppen konfigurieren, die an das zentralisierte Protokollierungskonto auf AWS gestreamt werden sollen.
Schritt 1b – Protokollaufnahme
Sie können eine optionale Demo-AWS-CloudFormation-Vorlage bereitstellen, um Beispiel-CloudWatch-Protokolle für AWS CloudTrail, Amazon-Virtual-Private-Cloud-Flussprotokolle (Amazon VPC) und einen Amazon Elastic Compute Cloud-Webserver (Amazon EC2) zu generieren.
Schritt 2a – Protokollindizierung
Ein zentralisiertes Amazon Kinesis Data Streams und Amazon Kinesis Data Firehose werden bereitgestellt, um Protokollereignisse auf der zentralisierten Amazon-OpenSearch-Service-Domäne zu indexieren. Die CloudWatch-Logs-Ziele, die zum Streamen von Log-Ereignissen erstellt wurden, haben Kinesis Data Streams als ihr Ziel.
Schritt 2b – Protokollindizierung
Sobald die Protokollereignisse in Kinesis Data Streams fließen, ruft der Service eine AWS-Lambda-Funktion auf, um jedes Protokollereignis in ein Amazon-OpenSearch-Service-Dokument umzuwandeln, das dann in Kinesis Data Firehose abgelegt wird. Sie können Kinesis Data Firehose überwachen, während es benutzerdefinierte CloudWatch-Protokolle mit detaillierten Überwachungsdaten für jeden Lieferstrom sendet.
Schritt 3 – Visualisierung
Amazon OpenSearch und Kibana bieten Unterstützung für die Datenvisualisierung und -Exploration. Eine Amazon-OpenSearch-Service-Domäne wird innerhalb einer Amazon VPC erstellt und verhindert den öffentlichen Zugriff auf das Kibana-Dashboard. Optional kann ein Microsoft-Windows-Jumpbox-Server gestartet werden, um auf den Amazon-OpenSearch-Service-Cluster und das Kibana-Dashboard zuzugreifen.
Schritt 1a – Protokollaufnahme
Amazon-CloudWatch-Logs-Ziele werden im primären Konto bereitgestellt und mit den erforderlichen Berechtigungen in jeder der ausgewählten Regionen erstellt. Sie können CloudWatch-Logs-Abonnementfilter für Protokollgruppen konfigurieren, die an das zentralisierte Protokollierungskonto auf AWS gestreamt werden sollen.
Schritt 1b – Protokollaufnahme
Sie können eine optionale Demo-AWS-CloudFormation-Vorlage bereitstellen, um Beispiel-CloudWatch-Protokolle für AWS CloudTrail, Amazon-Virtual-Private-Cloud-Flussprotokolle (Amazon VPC) und einen Amazon Elastic Compute Cloud-Webserver (Amazon EC2) zu generieren.
Schritt 2a – Protokollindizierung
Ein zentralisiertes Amazon Kinesis Data Streams und Amazon Kinesis Data Firehose werden bereitgestellt, um Protokollereignisse auf der zentralisierten Amazon-OpenSearch-Service-Domäne zu indexieren. Die CloudWatch-Logs-Ziele, die zum Streamen von Log-Ereignissen erstellt wurden, haben Kinesis Data Streams als ihr Ziel.
Schritt 2b – Protokollindizierung
Sobald die Protokollereignisse in Kinesis Data Streams fließen, ruft der Service eine AWS-Lambda-Funktion auf, um jedes Protokollereignis in ein Amazon-OpenSearch-Service-Dokument umzuwandeln, das dann in Kinesis Data Firehose abgelegt wird. Sie können Kinesis Data Firehose überwachen, während es benutzerdefinierte CloudWatch-Protokolle mit detaillierten Überwachungsdaten für jeden Lieferstrom sendet.
Schritt 3 – Visualisierung
Amazon OpenSearch und Kibana bieten Unterstützung für die Datenvisualisierung und -Exploration. Eine Amazon-OpenSearch-Service-Domäne wird innerhalb einer Amazon VPC erstellt und verhindert den öffentlichen Zugriff auf das Kibana-Dashboard. Optional kann ein Microsoft-Windows-Jumpbox-Server gestartet werden, um auf den Amazon-OpenSearch-Service-Cluster und das Kibana-Dashboard zuzugreifen.