Amazon CloudWatch führt einheitliches Datenmanagement und Analytics für Betrieb, Sicherheit und Compliance ein

von Channy Yun (윤석찬) , übersetzt durch Desiree Brunner.

Heute erweitern wir die Funktionen von Amazon CloudWatch, um Protokolldaten über operative, sicherheits- und compliance-bezogene Anwendungsfälle hinweg zu vereinheitlichen und zu verwalten – mit flexibler und leistungsstarker Analyse an einem Ort und mit reduzierter Datenduplizierung und Kosten.

Diese Verbesserung bedeutet, dass CloudWatch Daten automatisch normalisieren und verarbeiten kann, um Konsistenz über Quellen hinweg zu bieten, mit integrierter Unterstützung für Open Cybersecurity Schema Framework (OCSF) und Open Telemetry (OTel)[EN,Extern] Formate, sodass Sie sich auf Analysen und Erkenntnisse konzentrieren können. CloudWatch führt außerdem Apache Iceberg-kompatiblen Zugriff auf Ihre Daten über Amazon Simple Storage Service (Amazon S3) Tables ein, sodass Sie Analysen nicht nur lokal, sondern auch mit Amazon Athena, Amazon SageMaker Unified Studio oder jedem anderen Iceberg-kompatiblen Tool ausführen können.

Sie können auch Ihre operativen Daten in CloudWatch mit anderen Geschäftsdaten aus Ihren bevorzugten Tools korrelieren, um sie mit anderen Daten zu verknüpfen. Dieser einheitliche Ansatz optimiert die Verwaltung und bietet umfassende Korrelation über Sicherheits-, Betriebs- und Geschäftsanwendungsfälle hinweg.

Hier sind die detaillierten Verbesserungen:

• Optimierung der Datenerfassung und -normalisierung – CloudWatch sammelt automatisch von AWS bereitgestellte Protokolle über Konten und AWS-Regionen hinweg und integriert sich mit AWS Organizations von AWS-Services einschließlich AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC) Flow Logs, AWS WAF Zugriffsprotokolle, Amazon Route 53 Resolver-Protokolle und vorgefertigte Konnektoren für Drittanbieterquellen wie Endpunkt (CrowdStrike, SentinelOne), Identität (Okta, Entra ID), Cloud-Sicherheit (Wiz), Netzwerksicherheit (Zscaler, Palo Alto Networks), Produktivität und Zusammenarbeit (Microsoft Office 365, Windows Event Logs und GitHub) sowie IT-Service-Manager mit ServiceNow CMBD. Um Ihre Daten während der Erfassung zu normalisieren und zu verarbeiten, bietet CloudWatch verwaltete OCSF-Konvertierung für verschiedene AWS- und Drittanbieter-Datenquellen sowie andere Prozessoren wie Grok für benutzerdefiniertes Parsing, Operationen auf Feldebene und Zeichenfolgenmanipulationen.
• Reduzierung der kostspieligen Protokolldatenverwaltung – CloudWatch konsolidiert die Protokollverwaltung in einem einzigen Service mit integrierten Governance-Funktionen, ohne mehrere Kopien derselben Daten über verschiedene Tools und Datenspeicher hinweg zu speichern und zu pflegen. Der einheitliche Datenspeicher von CloudWatch eliminiert die Notwendigkeit komplexer ETL-Pipelines und reduziert Ihre Betriebskosten und den Verwaltungsaufwand, der für die Pflege mehrerer separater Datenspeicher und Tools erforderlich ist.
• Geschäftseinblicke aus Protokolldaten gewinnen – Sie können Abfragen in CloudWatch mit natürlichsprachlichen Abfragen und beliebten Abfragesprachen wie LogsQL, PPL und SQL über eine einzige Schnittstelle ausführen oder Ihre Daten mit Ihren bevorzugten Analysetools über Apache Iceberg-kompatible Tabellen abfragen. Die neue Facets-Schnittstelle bietet Ihnen intuitive Filterung nach Quelle, Anwendung, Konto, Region und Protokolltyp, die Sie verwenden können, um Abfragen über Protokollgruppen mehrerer AWS-Konten und Regionen mit intelligenter Parameterinferenz auszuführen.

In den nächsten Abschnitten erkunden wir die neuen Protokollverwaltungs- und Analysefunktionen von CloudWatch Logs!

1. Datenermittlung und -verwaltung nach Datenquellen und -typen

Sie können einen allgemeinen Überblick über Protokolle und alle Datenquellen mit einer neuen Protokollverwaltungsansicht in der CloudWatch-Konsole sehen. Um zu beginnen, gehen Sie zur CloudWatch-Konsole und wählen Sie Log Management unter dem Menü Logs im linken Navigationsbereich. Im Tab Summary können Sie Ihre Protokolldatenquellen und -typen beobachten sowie Einblicke erhalten, wie Ihre Protokollgruppen bei der Erfassung und Anomalien abschneiden.

Wählen Sie den Tab Data sources, um Ihre Protokolldaten nach Datenquellen, Typen und Feldern zu finden und zu verwalten. CloudWatch erfasst und kategorisiert Datenquellen automatisch nach AWS-Services, Drittanbietern oder benutzerdefinierten Quellen wie Anwendungsprotokollen.

Wählen Sie Data source actions, um S3 Tables zu integrieren und zukünftige Protokolle für ausgewählte Datenquellen verfügbar zu machen. Sie haben die Flexibilität, die Protokolle über Athena und Amazon Redshift sowie andere Abfrage-Engines wie Spark mit Iceberg-kompatiblen Zugriffsmustern zu analysieren. Mit dieser Integration sind Protokolle aus CloudWatch in einem schreibgeschützten aws-cloudwatch S3 Tables-Bucket verfügbar.

Wenn Sie eine bestimmte Datenquelle wie CloudTrail-Daten auswählen, können Sie die Details der Datenquelle anzeigen, die Informationen zu Datenformat, Pipeline, Facets/Feldindizes, S3 Tables-Zuordnung und der Anzahl der Protokolle mit dieser Datenquelle enthalten. Sie können alle Protokollgruppen beobachten, die in dieser Datenquelle und diesem Typ enthalten sind, und eine Quell-/Typ-Feldindexrichtlinie mithilfe der neuen Schema-Unterstützung bearbeiten.

Um mehr darüber zu erfahren, wie Sie Ihre Datenquellen und Indexrichtlinien verwalten, besuchen Sie Data sources im Amazon CloudWatch Logs Benutzerhandbuch.

2. Erfassung und Transformation mit CloudWatch-Pipelines

Sie können Pipelines erstellen, um das Sammeln, Transformieren und Weiterleiten von Telemetrie- und Sicherheitsdaten zu optimieren und gleichzeitig Datenformate zu standardisieren, um die Verwaltung von Observability- und Sicherheitsdaten zu optimieren. Die neue Pipeline-Funktion von CloudWatch verbindet Daten aus einem Katalog von Datenquellen, sodass Sie Pipeline-Prozessoren aus einer Bibliothek hinzufügen und konfigurieren können, um Daten zu parsen, anzureichern und zu standardisieren.

Wählen Sie im Tab Pipeline die Option Add pipeline. Es zeigt Ihnen den Pipeline-Konfigurationsassistenten. Dieser Assistent führt Sie durch fünf Schritte, in denen Sie die Datenquelle und andere Quelldetails wie Protokollquellentypen auswählen, das Ziel konfigurieren, bis zu 19 Prozessoren konfigurieren können, um eine Aktion auf Ihren Daten auszuführen (wie Filtern, Transformieren oder Anreichern), und schließlich die Pipeline überprüfen und bereitstellen.

Sie haben auch die Möglichkeit, Pipelines über die neue Ingestion-Erfahrung in CloudWatch zu erstellen. Um mehr darüber zu erfahren, wie Sie Pipelines einrichten und verwalten, besuchen Sie Pipelines im Amazon CloudWatch Logs Benutzerhandbuch.

3. Erweiterte Analysen und Abfragen basierend auf Datenquellen

Sie können Analysen mit Unterstützung für Facets und Abfragen basierend auf Datenquellen verbessern. Facets ermöglichen interaktive Erkundung und Drill-Down in Protokolle, und ihre Werte werden automatisch basierend auf dem ausgewählten Zeitraum extrahiert.

Wählen Sie den Tab Facets in Log Insights unter dem Menü Logs im linken Navigationsbereich. Sie können verfügbare Facets und Werte anzeigen, die im Panel erscheinen. Wählen Sie eine oder mehrere Facets und Werte aus, um Ihre Daten interaktiv zu erkunden. Ich wähle Facets bezüglich einer VPC Flow Logs-Gruppe und -Aktion aus, frage über den KI-Abfragegenerator nach den fünf häufigsten Mustern in meinen VPC Flow Logs und erhalte die Ergebnismuster.

Sie können Ihre Abfrage mit den ausgewählten Facets und Werten speichern, die Sie angegeben haben. Wenn Sie das nächste Mal Ihre gespeicherte Abfrage auswählen, haben die abzufragenden Protokolle die vordefinierten Facets und Werte. Um mehr über die Facet-Verwaltung zu erfahren, besuchen Sie Facets im CloudWatch Logs Benutzerhandbuch.

Wie ich bereits erwähnt habe, können Sie Datenquellen in S3 Tables integrieren und gemeinsam abfragen. Zum Beispiel können Sie mit einem Query Editor in Athena Netzwerkverkehr mit AWS API-Aktivität aus einem bestimmten IP-Bereich (174.163.137.*) korrelieren, indem Sie VPC Flow Logs mit CloudTrail-Protokollen basierend auf übereinstimmenden Quell-IP-Adressen verknüpfen.

Diese Art der integrierten Suche ist besonders wertvoll für Sicherheitsüberwachung, Vorfalluntersuchung und Erkennung verdächtigen Verhaltens. Sie können sehen, ob eine IP, die Netzwerkverbindungen herstellt, auch sensible AWS-Operationen wie das Erstellen von Benutzern, das Ändern von Sicherheitsgruppen oder den Zugriff auf Daten durchführt.

Um mehr zu erfahren, besuchen Sie S3 Tables integration with CloudWatch im CloudWatch Logs Benutzerhandbuch.

Jetzt verfügbar
Die neuen Protokollverwaltungsfunktionen von Amazon CloudWatch sind ab heute in allen AWS-Regionen außer den AWS GovCloud (US)-Regionen und China-Regionen verfügbar. Informationen zur regionalen Verfügbarkeit und zur zukünftigen Roadmap finden Sie unter AWS Capabilities by Region[EN]. Es gibt keine Vorabverpflichtungen oder Mindestgebühren, und Sie zahlen für die Nutzung der vorhandenen CloudWatch Logs für Datenerfassung, Speicherung und Abfragen. Um mehr zu erfahren, besuchen Sie die CloudWatch-Preisseite.

Probieren Sie es in der CloudWatch-Konsole aus. Um mehr zu erfahren, besuchen Sie die CloudWatch-Produktseite und senden Sie Feedback an AWS re:Post für CloudWatch Logs[EN] oder über Ihre üblichen AWS Support-Kontakte.