Was ist die Protokollanalytik?
Anwendungen, Server, Cloud-Infrastrukturen, IoT und mobile Geräte, DevOps, Microservices-Architekturen – mit den größten Geschäfts- und IT-Trends können der Betrieb und das Kundenerlebnis verbessert werden wie nie zuvor. Diese Trends haben jedoch auch zu einem explosionsartigen Anstieg an maschinengenerierten Daten geführt, zu denen Protokolle und Metriken wie Benutzertransaktionen, Kundenverhalten, Sensoraktivitäten, Maschinenverhalten und Sicherheitsbedrohungen gehören. Diese Daten sind zwar komplex, aber auch sehr wertvoll, da sie operative Informationen für IT, Sicherheit und Unternehmen enthalten.
Die Protokollanalytik umfasst das Durchsuchen, Analysieren und Visualisieren von Maschinendaten, die von Ihren IT-Systemen und Ihrer technologischen Infrastruktur erzeugt werden, um betriebliche Erkenntnisse zu gewinnen. Herkömmliche Datenanalytik-Tools sind einfach nicht dafür entwickelt worden, die Vielfalt und das Volumen der rasch zunehmenden Maschinendaten zu verarbeiten.
Warum ist die Protokollanalytik wichtig?
Die Protokolldaten nehmen ständig zu. Ohne eine ganzheitliche preisbewusste Lösung werden die Kosten weiter unkontrolliert zunehmen. Die Menge an menschliche und maschinell erzeugte Daten nimmt mit enormer Geschwindigkeit zu, wobei von Menschen erzeugte Daten im Allgemeinen eine konservative Wachstumsrate von 10x über Geschäftsdaten aufweisen. Die maschinellen Daten werden voraussichtlich noch stärker zunehmen.
Was ist die Geschichte der Protokollanalytik?
Seit wir begonnen haben, computergenerierte Datensätze zu erstellen, haben wir versucht, diese Datensätze in Massen zu analysieren. Die Aufzeichnungen werden von Geräten, Anwendungen, Netzwerken (und mehr) ausgegeben und dann in zeitlicher Abfolge zu Protokollen zusammengestellt. Oft werden diese Protokolle nicht vollständig dokumentiert, oder sie werden ständig durch Anwendungen oder Geräte erstellt, was das Bedürfnis der Analyse dieser Protokolle weiter verstärkt.
In welche Richtung wird sich der Markt für die Protokollanalytik entwickeln?
Protokolldaten verschwinden selten – sie werden nur anders gespeichert und abgerufen. Mit dem wachsenden Umfang brauchen wir bessere Methoden diese Daten zu speichern und zu begreifen. Machine Learning wird verwendet, um Muster in diesem wachsenden Datenhaufen zu finden, aber es gibt noch viel mehr, was getan werden kann, um Sicherheitsanalytik, Betrugserkennung, Anomalieerkennung und mehr zu unterstützen.
Was sind die Vorteile der Protokollanalytik?
Die Protokollanalytik kann wertvolle Fragen zur Betriebsanalytik beantworten, wie z. B. die folgende Liste. Stellen Sie sich vor, Sie hätten Echtzeitantworten auf diese Fragen:
- Funktioniert meine Infrastruktur?
- Wie hoch ist die Latenz und die Fehlerrate?
- Was ist der Grund für das Problem mit meiner Anwendung?
- Gibt es auffällige Zugangsaktivitäten?
- Welche Daten wurden von dieser IP-Adresse abgefragt?
- Gibt es Fälle von Betrug?
- An welchen Inhalten/Produkten sind meine Benutzer interessiert?
- Welche Funktionen werden am meisten oder am wenigsten benutzt?
- Welche Benutzer sind am aktivsten und warum?
Einen tieferen Einblick in die Vorteile der Protokollanalytik bietet diese Abhandlung von Omdia.
Welche Herausforderungen gibt es bei der Protokollanalytik?
Einige der wichtigsten Herausforderungen für die Tools zur Protokollanalytik sind:
-
Datenvielfalt und Datenmenge vermehren sich schnell
- Sicherheit und Kosten sind kritische Anforderungen
- Echtzeitergebnisse und Vorhersagen können zu ältere Architekturen nicht so einfach hinzugefügt werden
Wer benutzt Protokollanalytik?
Protokollanalytik wird hauptsächlich von DevOps-Ingenieuren, Mitarbeitern, die zuständig für die Zuverlässigkeit von Webseiten sind, und Unternehmensarchitekten benutzt.
Was macht die Protokollanalytik?
Überwachung von Anwendungen und Infrastrukturen in Echtzeit
Erfassen und zentralisieren Sie alle Protokolle und Metriken aus Ihren Anwendungen und IT-Silos, um einen tiefen Einblick in Ihren Anwendungs- und Infrastruktur-Stack zu erhalten und die Betriebszeit zu gewährleisten. Sie müssen die Daten indexieren, um sie für die Analyse in Echtzeit verfügbar zu machen, was die Visualisierung der Leistungsmetriken in Echtzeit ermöglicht.
Ursachenanalyse
Identifizieren Sie schnell die Probleme in Ihrer gesamten Umgebung (Server, Code), um die durchschnittliche Zeit bis zur Identifizierung (MTTI) und die durchschnittliche Zeit bis zur Lösung (MTTR) zu reduzieren. Mithilfe von Visualisierungstools können Sie Millionen von Ereignissen durchsuchen und über Ihre Anwendungen und Infrastruktur hinweg korrelieren, um die Ursache des Problems schnell zu diagnostizieren und die Betriebszeit zu verbessern.
Clickstream-Analytik
Verschaffen Sie sich einen Echtzeit-Überblick über die Leistung Ihrer Webinhalte und die Interaktion der Benutzer mit Ihren Anwendungen und Webseiten, einschließlich des Benutzerverhaltens, der verbrachten Zeit, der beliebtesten Inhalte und mehr. Sie können Ihre Clickstream-Protokolle mühelos zusammenfassen und analysieren, um ein tieferes Verständnis für Ihre Kunden zu gewinnen.
Sicherheitsinformationen und Ereignisverwaltung (SIEM)
Zentralisieren und analysieren Sie Ereignisse, die in Ihrer gesamten Umgebung, einschließlich Anwendungen, Netzwerken und Betriebssystemen, erzeugt werden, um schädliche oder verdächtige Aktivitäten in Ihrem Netzwerk zu identifizieren. Sie können die Daten sofort nach der Erfssung indexieren, was es Ihnen ermöglicht, Daten aus verschiedenen Quellen sofort zu analysieren und Bedrohungen schneller zu finden und zu verhindern.
So erstellen Sie eine Strategie für die Protokollanalytik
Ihre Strategie für die Protokollanalytik muss die Erfassung, Umwandlung und Anreicherung der Daten, Indexierungs- und Shardingstrategie, Infrastrukturplanung und schließlich die Lebensdauer und Archivierung der Daten berücksichtigen. Hier folgen die allgemeinen Schritte:
-
Zuerst müssen Sie Datenbewegungen und Datenerfassung identifiziern. Wichtig ist es einen Erfassungsweg zu finden.
-
Zweitens müssen Sie die Datenumwandlung der Protokollzeilen oder -zeichenfolgen festlegen. Oft arbeiten Protokollanalytik mit JSON – denn es müssen Daten richtig umgewandelt und angereichert werden, falls nötig.
-
Drittens müssen Sie eine Strategie für die Indizierung und das Shard bedenken. Die richtige Erstellung der Indexe ist unerläßlich.
-
Viertens müssen sie auch Ihre Infrastruktur planen, um die Art der Instances zu ermitteln und wie viele Sie benötigen.
-
Schließlich, um die Größe und Kosten der Protokolle zu kontrollieren, benötigen Sie eine Gesamtstrategie für die Lebensdauer und Archivierung der Daten.
Wo sollte ich meine Protokolldaten speichern?
Amazon OpenSearch Service bietet eine Vielzahl von Speicherebenen für Ihre Protokolldaten. Sie können eine Speicherebene auswählen, die Ihren Abfrageanforderungen entspricht (Hot, UltraWarm und Cold Storage).
Was sind die AWS-Angebote für die Protokollanalytik?
Einfaches Bereitstellen und Verwalten
Amazon OpenSearch Service vereinfacht das Einrichten und Bereitstellen Ihres Clusters und beseitigt gleichzeitig die Komplexität, die mit Verwaltungsaufgaben wie Hardware-Bereitstellung, Software-Installation und -Patching, Fehlerbehebung, Backup und Überwachung verbunden ist. Dies ermöglicht es Ihnen, die Betriebskosten zu reduzieren und sich auf die zentralen Geschäftsanforderungen zu konzentrieren.
Skalierbarkeit und Zuverlässigkeit
Mit bis zu 3 PB Speicher für Instances in einer einzigen Domäne können Sie mit Amazon OpenSearch Service problemlos Instances hinzufügen oder entfernen, ohne dass es zu Ausfallzeiten kommt. Der Service bietet außerdem integrierte Verschlüsselung im Ruhezustand und während der Übertragung, Benutzerauthentifizierung und VPC-Unterstützung, was die Sicherheit Ihrer Daten gewährleistet.
Einfache Integration mit weiteren AWS-Services
Amazon OpenSearch Service bietet integrierte Integrationen mit anderen AWS-Services wie Kinesis Data Firehose, Managed Streaming for Kafka, IoT, CloudWatch Logs, KMS, Cognito und IAM, sodass Sie Daten aus allen Quellen sicher aufnehmen, analysieren und visualisieren können.
Senken Sie Ihre Kosten
Mit dem Amazon OpenSearch Service zahlen Sie nur für das, was Sie tatsächlich nutzen. Es gibt weder eine Vorabgebühr noch eine Nutzungsanforderung. Dank der Überwachung rund um die Uhr und dem AWS-Support benötigen Sie kein Team von Elasticsearch-Experten, um Ihre Infrastruktur zu skalieren, zu sichern und zu überwachen, was zu niedrigeren Gesamtbetriebskosten führt.
Wie funktioniert Protokollanalytik mit AWS?
Mit AWS können Sie verschiedene Lösungen erstellen, um Ihre Protokolldaten effektiv zu verbinden, zu überwachen und zu analysieren. Diese Lösungen bieten Ihnen einen klaren Blick auf ihre Anwendungen, Systeme und AWS-Protokollinformationen für operative Intelligenz in Echtzeit.
Zentralisierte Protokollierung mit Amazon OpenSearch Service
In Kombination mit anderen AWS-Services bietet Ihnen diese Lösung, mithilfe des Amazon OpenSearch Service, eine schlüsselfertige Umgebung, um mit der Protokollierung und Analyse Ihrer AWS-Umgebung und -Anwendungen zu beginnen. Erste Schritte mit Amazon OpenSearch Service »
Das Diagramm unten zeigt die zentralisierte Protokollierungsarchitektur. Weitere Informationen finden Sie unter Beschreibung zentralisierter Protokolllösungen.
Echtzeitüberwachung mit Amazon Kinesis
Wenn Sie Amazon Kinesis zusammen mit AWS CloudTrail und Amazon CloudWatch verwenden, können Sie mit einer Serverless-Lösung Ihre Anwendungen in Echtzeit überwachen. Erste Schritte mit Amazon Kinesis »
Das Diagramm unten zeigt die Überwachungsarchitektur für Anwendungen in Echtzeit. Weitere Informationen finden Sie im Praxisorientierten Tutorial.
Wie setzen Kunden die Protokollanalytik ein?
Überwachung von Anwendungen und Infrastrukturen in Echtzeit
Erfassen und zentralisieren Sie alle Protokolle und Metriken aus Ihren Anwendungen und IT-Silos, um einen tiefen Einblick in Ihren Anwendungs- und Infrastruktur-Stack zu erhalten und die Betriebszeit zu gewährleisten. Amazon OpenSearch Service indexiert die Daten, stellt sie für die Analyse in Echtzeit zur Verfügung und ermöglicht die Visualisierung der Leistungsmetriken in Echtzeit mit Kibana-Dashboards.
Die Expedia Group, eines der weltweit führenden Reiseunternehmen, verwendet Amazon OpenSearch Service für die Überwachung von Anwendungen. Mit Amazon OpenSearch Service kann Expedia große Mengen an Docker-Protokollen kostengünstig überwachen, Probleme in Echtzeit erkennen und beheben, die Skalierung für zusätzliche Protokollquellen vereinfachen und die Betriebskosten verringern. Weitere Informationen »
Ursachenanalyse
Identifizieren Sie schnell die Probleme in Ihrer gesamten Umgebung (Server, Code), um die durchschnittliche Zeit bis zur Identifizierung (MTTI) und die durchschnittliche Zeit bis zur Lösung (MTTR) zu reduzieren. Mit dem integrierten Kibana können Sie mit dem Amazon OpenSearch Service Millionen von Ereignissen durchsuchen und über Ihre Anwendungen und Infrastruktur hinweg korrelieren, um die Ursache des Problems schnell zu diagnostizieren und die Betriebszeit zu verbessern.
Autodesk, ein führender Anbieter von 3D-Design- und Konstruktionssoftware, verwendet AWS-Services wie Amazon OpenSearch Service, Amazon Kinesis Data Firehose und Amazon Kinesis Data Analytics, um eine kosteneffiziente, einheitliche Protokollierungslösung zu entwickeln, mit der Anwendungsprobleme schneller gefunden und behoben und das Kundenerlebnis verbessert werden können. Weitere Informationen »
Clickstream-Analytik
Verschaffen Sie sich einen Echtzeit-Überblick über die Leistung Ihrer Webinhalte und die Interaktion der Benutzer mit Ihren Anwendungen und Webseiten, einschließlich des Benutzerverhaltens, der verbrachten Zeit, der beliebtesten Inhalte und mehr. Mit Amazon OpenSearch Service und Amazon Kinesis Data Firehose oder Amazon Managed Streaming for Kafka können Sie Ihre Clickstream-Protokolle mühelos aggregieren und analysieren, um ein tieferes Verständnis für Ihre Kunden zu gewinnen.
Die Hearst Corporation, ein großes Medienunternehmen, entwickelte eine Clickstream-Analytikplattform mit Amazon OpenSearch Service, Amazon Kinesis Streams und Amazon Kinesis Firehose zur Übertragung und Verarbeitung von 30 Terabyte Daten pro Tag. Mit dieser Plattform kann Hearst den gesamten Datenstrom – von Webseiten-Klicks bis hin zu aggregierten Daten – den Redakteuren in wenigen Minuten zur Verfügung zu stellen. Weitere Informationen »
Sicherheitsinformationen und Ereignisverwaltung (SIEM)
Zentralisieren und analysieren Sie Ereignisse, die in Ihrer gesamten Umgebung, einschließlich Anwendungen, Netzwerken und Betriebssystemen, erzeugt werden, um schädliche oder verdächtige Aktivitäten in Ihrem Netzwerk zu identifizieren. Mit dem Amazon OpenSearch Service können Sie die Daten indexieren, sobald sie erfasst wurden. Dies ermöglicht Ihnen, Daten aus verschiedenen Quellen sofort zu analysieren und Bedrohungen schneller zu finden und zu verhindern.
Nächste Schritte bei der Protokollanalytik mit AWS
Sehen Sie sich diese empfohlenen Ressourcen an:
- Starten Sie Ihr kostenloses Testprogramm für den Amazon OpenSearch Service
- Nehmen Sie am Workshop über die Entwicklung einer Lösung für die Protokollanalytik teil
- Sie können auch das kostenlose Kontingent des Amazon OpenSearch Service benutzen, um loszulegen. Benutzen Sie bis zu 750 Stunden pro Monat auf t2- und t3-small.search-Instances mit dem kostenlosen AWS-Kontingent.
Nächste Schritte auf AWS
Sie erhalten sofort Zugriff auf das kostenlose Kontingent von AWS.
Starten Sie mit der Entwicklung in der AWS-Managementkonsole.