Amazon CloudWatch führt einheitliches Datenmanagement und Analytics für Betrieb, Sicherheit und Compliance ein

Heute erweitern wir die Funktionen von Amazon CloudWatch, um Log-Daten über Betriebs-, Sicherheits- und Compliance-Anwendungsfälle hinweg zu vereinheitlichen und zu verwalten – mit flexiblen und leistungsstarken Analytics an einem Ort und mit reduzierter Datenduplizierung und Kosten.

Diese Erweiterung bedeutet, dass CloudWatch Daten automatisch normalisieren und verarbeiten kann, um Konsistenz über Quellen hinweg zu bieten, mit integrierter Unterstützung für Open Cybersecurity Schema Framework (OCSF) und Open Telemetry (OTel) Formate, sodass Sie sich auf Analytics und Erkenntnisse konzentrieren können. CloudWatch führt außerdem Apache Iceberg-kompatiblen Zugriff auf Ihre Daten über Amazon Simple Storage Service (Amazon S3) Tables ein, sodass Sie Analytics nicht nur lokal, sondern auch mit Amazon Athena, Amazon SageMaker Unified Studio oder jedem anderen Iceberg-kompatiblen Tool ausführen können.

Sie können Ihre Betriebsdaten in CloudWatch auch mit anderen Geschäftsdaten aus Ihren bevorzugten Tools korrelieren, um sie mit anderen Daten in Beziehung zu setzen. Dieser einheitliche Ansatz optimiert das Management und bietet umfassende Korrelation über Sicherheits-, Betriebs- und Geschäftsanwendungsfälle hinweg.

Hier sind die detaillierten Erweiterungen:

• Optimierung der Datenaufnahme und Normalisierung – CloudWatch sammelt automatisch AWS-bereitgestellte Logs über Konten und AWS-Regionen hinweg und integriert sich mit AWS Organizations von AWS-Services einschließlich AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC) Flow Logs, AWS WAF Access Logs, Amazon Route 53 Resolver Logs und vorgefertigten Konnektoren für Drittanbieterquellen wie Endpoint (CrowdStrike, SentinelOne), Identität (Okta, Entra ID), Cloud-Sicherheit (Wiz), Netzwerksicherheit (Zscaler, Palo Alto Networks), Produktivität und Zusammenarbeit (Microsoft Office 365, Windows Event Logs und GitHub) sowie IT-Service-Manager mit ServiceNow CMBD. Um Ihre Daten während der Aufnahme zu normalisieren und zu verarbeiten, bietet CloudWatch verwaltete OCSF-Konvertierung für verschiedene AWS- und Drittanbieter-Datenquellen sowie andere Prozessoren wie Grok für benutzerdefiniertes Parsing, Operationen auf Feldebene und String-Manipulationen.
• Reduzierung kostenintensiven Log-Datenmanagements – CloudWatch konsolidiert das Log-Management in einem einzigen Service mit integrierten Governance-Funktionen, ohne mehrere Kopien derselben Daten über verschiedene Tools und Datenspeicher hinweg zu speichern und zu pflegen. Der einheitliche Datenspeicher von CloudWatch eliminiert die Notwendigkeit komplexer ETL-Pipelines und reduziert Ihre Betriebskosten und den Verwaltungsaufwand, der für die Pflege mehrerer separater Datenspeicher und Tools erforderlich ist.
• Geschäftseinblicke aus Log-Daten gewinnen – Sie können Abfragen in CloudWatch mit natürlichsprachlichen Abfragen und gängigen Abfragesprachen wie LogsQL, PPL und SQL über eine einzige Schnittstelle ausführen oder Ihre Daten mit Ihren bevorzugten Analytics-Tools über Apache Iceberg-kompatible Tabellen abfragen. Die neue Facets-Schnittstelle bietet Ihnen intuitive Filterung nach Quelle, Anwendung, Konto, Region und Log-Typ, die Sie verwenden können, um Abfragen über Log-Gruppen mehrerer AWS-Konten und Regionen mit intelligenter Parameterinferenz auszuführen.

In den nächsten Abschnitten erkunden wir die neuen Log-Management- und Analytics-Funktionen von CloudWatch Logs!

1. Datenermittlung und -verwaltung nach Datenquellen und -typen

Sie können eine übergeordnete Übersicht über Logs und alle Datenquellen mit einer neuen Logs Management View in der CloudWatch-Konsole sehen. Um zu beginnen, gehen Sie zur CloudWatch-Konsole und wählen Sie Log Management unter dem Menü Logs im linken Navigationsbereich. Im Tab Summary können Sie Ihre Logs-Datenquellen und -typen beobachten sowie Einblicke erhalten, wie Ihre Log-Gruppen bei der Aufnahme und Anomalien abschneiden.

Wählen Sie den Tab Data sources, um Ihre Log-Daten nach Datenquellen, Typen und Feldern zu finden und zu verwalten. CloudWatch nimmt Datenquellen auf und kategorisiert sie automatisch nach AWS-Services, Drittanbietern oder benutzerdefinierten Quellen wie Anwendungs-Logs.

Wählen Sie Data source actions, um S3 Tables zu integrieren, um zukünftige Logs für ausgewählte Datenquellen verfügbar zu machen. Sie haben die Flexibilität, die Logs über Athena und Amazon Redshift sowie andere Query-Engines wie Spark mit Iceberg-kompatiblen Zugriffsmustern zu analysieren. Mit dieser Integration sind Logs aus CloudWatch in einem schreibgeschützten aws-cloudwatch S3 Tables Bucket verfügbar.

Wenn Sie eine bestimmte Datenquelle wie CloudTrail-Daten auswählen, können Sie die Details der Datenquelle anzeigen, die Informationen zu Datenformat, Pipeline, Facets/Feldindizes, S3 Tables-Zuordnung und der Anzahl der Logs mit dieser Datenquelle enthalten. Sie können alle Log-Gruppen beobachten, die in dieser Datenquelle und diesem Typ enthalten sind, und eine Quell-/Typ-Feldindexrichtlinie mithilfe der neuen Schema-Unterstützung bearbeiten.

Um mehr darüber zu erfahren, wie Sie Ihre Datenquellen und Indexrichtlinien verwalten, besuchen Sie Data sources im Amazon CloudWatch Logs Benutzerhandbuch.

2. Aufnahme und Transformation mit CloudWatch Pipelines

Sie können Pipelines erstellen, um das Sammeln, Transformieren und Routing von Telemetrie- und Sicherheitsdaten zu optimieren und gleichzeitig Datenformate zu standardisieren, um das Observability- und Sicherheitsdatenmanagement zu optimieren. Die neue Pipeline-Funktion von CloudWatch verbindet Daten aus einem Katalog von Datenquellen, sodass Sie Pipeline-Prozessoren aus einer Bibliothek hinzufügen und konfigurieren können, um Daten zu parsen, anzureichern und zu standardisieren.

Wählen Sie im Tab Pipeline die Option Add pipeline. Es zeigt Ihnen den Pipeline-Konfigurationsassistenten. Dieser Assistent führt Sie durch fünf Schritte, in denen Sie die Datenquelle und andere Quelldetails wie Log-Quelltypen auswählen, das Ziel konfigurieren, bis zu 19 Prozessoren konfigurieren können, um eine Aktion auf Ihren Daten auszuführen (wie Filtern, Transformieren oder Anreichern), und schließlich die Pipeline überprüfen und bereitstellen.

Sie haben auch die Möglichkeit, Pipelines über die neue Ingestion-Erfahrung in CloudWatch zu erstellen. Um mehr darüber zu erfahren, wie Sie Pipelines einrichten und verwalten, besuchen Sie Pipelines im Amazon CloudWatch Logs Benutzerhandbuch.

3. Erweiterte Analytics und Abfragen basierend auf Datenquellen

Sie können Analytics mit Unterstützung für Facets und Abfragen basierend auf Datenquellen erweitern. Facets ermöglichen interaktive Exploration und Drill-Down in Logs, und ihre Werte werden automatisch basierend auf dem ausgewählten Zeitraum extrahiert.

Wählen Sie den Tab Facets in Log Insights unter dem Menü Logs im linken Navigationsbereich. Sie können verfügbare Facets und Werte anzeigen, die im Panel erscheinen. Wählen Sie eine oder mehrere Facets und Werte aus, um Ihre Daten interaktiv zu erkunden. Ich wähle Facets bezüglich einer VPC Flow Logs-Gruppe und -Aktion, frage ab, um die fünf häufigsten Muster in meinen VPC Flow Logs über den AI-Abfragegenerator aufzulisten, und erhalte die Ergebnismuster.

Sie können Ihre Abfrage mit den ausgewählten Facets und Werten speichern, die Sie angegeben haben. Wenn Sie das nächste Mal Ihre gespeicherte Abfrage auswählen, haben die abzufragenden Logs die vordefinierten Facets und Werte. Um mehr über Facet-Management zu erfahren, besuchen Sie Facets im CloudWatch Logs Benutzerhandbuch.

Wie ich bereits erwähnt habe, können Sie Datenquellen in S3 Tables integrieren und gemeinsam abfragen. Zum Beispiel können Sie mit einem Query Editor in Athena Netzwerkverkehr mit AWS-API-Aktivität aus einem bestimmten IP-Bereich (174.163.137.*) korrelieren, indem Sie VPC Flow Logs mit CloudTrail-Logs basierend auf übereinstimmenden Quell-IP-Adressen verbinden.

Diese Art der integrierten Suche ist besonders wertvoll für Sicherheitsüberwachung, Incident-Untersuchung und Erkennung verdächtigen Verhaltens. Sie können sehen, ob eine IP, die Netzwerkverbindungen herstellt, auch sensible AWS-Operationen wie das Erstellen von Benutzern, das Ändern von Sicherheitsgruppen oder den Zugriff auf Daten durchführt.

Um mehr zu erfahren, besuchen Sie S3 Tables integration with CloudWatch im CloudWatch Logs Benutzerhandbuch.

Jetzt verfügbar

Neue Log-Management-Funktionen von Amazon CloudWatch sind ab heute in allen AWS-Regionen außer den AWS GovCloud (US) Regionen und China-Regionen verfügbar. Für regionale Verfügbarkeit und zukünftige Roadmap besuchen Sie die AWS Capabilities by Region. Es gibt keine Vorabverpflichtungen oder Mindestgebühren, und Sie zahlen für die Nutzung der bestehenden CloudWatch Logs für Datenaufnahme, Speicherung und Abfragen. Um mehr zu erfahren, besuchen Sie die CloudWatch-Preisseite.

Probieren Sie es in der CloudWatch-Konsole aus. Um mehr zu erfahren, besuchen Sie die CloudWatch-Produktseite und senden Sie Feedback an AWS re:Post für CloudWatch Logs oder über Ihre üblichen AWS-Support-Kontakte.

— Channy

Channy Yun (윤석찬)

Channy ist Lead Blogger des AWS News Blog und Principal Developer Advocate für AWS Cloud. Als Open-Web-Enthusiast und Blogger aus Leidenschaft liebt er gemeinschaftsgetriebenes Lernen und Teilen von Technologie.

Dieser Inhalt wurde aus dem ursprünglichen Blog-Beitrag übersetzt, der hier zu finden ist.