Was ist ELK-Stack?

Der ELK-Stack ist ein Akronym für einen aus drei populären Projekten bestehenden Stack: Elasticsearch, Logstash und Kibana. Der ELK-Stack, der oft auch als Elasticsearch bezeichnet wird, bietet Ihnen die Möglichkeit, Protokolle von all Ihren Systemen und Anwendungen zu sammeln, diese Protokolle zu analysieren und Visualisierungen für die Überwachung von Anwendungen und Infrastrukturen, eine schnellere Fehlerbehebung, Sicherheitsanalysen und vieles mehr zu erstellen.

E = Elasticsearch

Elasticsearch ist eine verteilte Such- und Analytik-Engine, die auf Apache Lucene basiert. Die Unterstützung verschiedener Sprachen, hohe Leistung und schemafreie JSON-Dokumente machen Elasticsearch zu einer idealen Wahl für verschiedene Anwendungsfälle der Protokollanalyse und Suche. 

Weitere Informationen finden Sie unter Was ist Elasticsearch?

Am 21. Januar 2021 kündigte Elastic NV an, dass sie ihre Softwarelizenzierungsstrategie ändern und neue Versionen von Elasticsearch und Kibana nicht mehr unter der freizügigen Apache-Lizenz, Version 2.0 (ALv2), veröffentlichen werden. Stattdessen werden neue Versionen der Software unter der Elastic-Lizenz angeboten, wobei der Quellcode unter der Elastic-Lizenz oder der SSPL verfügbar ist. Diese Lizenzen sind nicht Open Source und bieten den Nutzern nicht die gleichen Freiheiten. Für eine sichere, qualitativ hochwertige, vollständig quelloffene Such- und Analytik-Suite können Sie das OpenSearch-Projekt verwenden, ein von der Community betriebener, ALv2-lizenzierten Zweig von Open-Source-Elasticsearch und Kibana.

L = Logstash

Logstash ist ein Open-Source-Tool für die Datenerfassung, mit dem Sie Daten aus einer Vielzahl von Quellen sammeln, umwandeln und an das gewünschte Ziel senden können. Mit vorgefertigten Filtern und der Unterstützung von über 200 Plugins ermöglicht Logstash den Benutzern die einfache Erfassung von Daten unabhängig von der Datenquelle oder dem Datentyp. 

Logstash ist eine leichtgewichtige, quelloffene, serverseitige Datenverarbeitungs-Pipeline, die es Ihnen ermöglicht, Daten aus einer Vielzahl von Quellen zu sammeln, sie im laufenden Betrieb umzuwandeln und sie an das gewünschte Ziel zu senden. Am häufigsten wird es als Daten-Pipeline für Elasticsearch, eine Open-Source-Analytik- und Such-Engine, verwendet. Aufgrund der engen Integration mit Elasticsearch, der leistungsstarken Protokollverarbeitungsfunktionen und der über 200 vorgefertigten Open-Source-Plugins, mit denen Sie Ihre Daten leicht indizieren können, ist Logstash eine beliebte Wahl für das Laden von Daten in Elasticsearch.

Einfaches Laden unstrukturierter Daten

Mit Logstash können Sie auf einfache Weise unstrukturierte Daten aus einer Vielzahl von Datenquellen erfassen, darunter Systemprotokolle, Website-Protokolle und Anwendungsserver-Protokolle. 

Vorgefertigte Filter

Logstash bietet vorgefertigte Filter, sodass Sie gängige Datentypen problemlos transformieren, in Elasticsearch indizieren und mit der Abfrage beginnen können, ohne eigene Datenumwandlungs-Pipelines erstellen zu müssen.

Flexible Plugin-Architektur

Mit über 200 Plugins, die bereits auf GitHub verfügbar sind, ist es wahrscheinlich, dass jemand bereits das Plugin gebaut hat, das Sie für die Anpassung Ihrer Daten-Pipeline benötigen. Wenn es aber keines gibt, das Ihren Anforderungen entspricht, können Sie es leicht selbst erstellen.

K = Kibana

Kibana ist ein Tool zur Datenvisualisierung und -exploration, das für Protokoll- und Zeitreihenanalysen, Anwendungsüberwachung und Operational-Intelligence-Anwendungen verwendet wird. Es bietet leistungsstarke und benutzerfreundliche Features wie Histogramme, Liniendiagramme, Kuchendiagramme, Heatmaps und integrierte Geodatenunterstützung. Außerdem bietet es eine enge Integration mit Elasticsearch, einer beliebten Analytik- und Suchmaschine, was Kibana zur Standardwahl für die Visualisierung von in Elasticsearch gespeicherten Daten macht.

Am 21. Januar 2021 kündigte Elastic NV an, dass sie ihre Softwarelizenzierungsstrategie ändern und neue Versionen von Elasticsearch und Kibana nicht mehr unter der freizügigen Apache-Lizenz, Version 2.0 (ALv2), veröffentlichen werden. Stattdessen werden neue Versionen der Software unter der Elastic-Lizenz angeboten, wobei der Quellcode unter der Elastic-Lizenz oder der SSPL verfügbar ist. Diese Lizenzen sind nicht Open Source und bieten den Nutzern nicht die gleichen Freiheiten. Um sicherzustellen, dass die Open-Source-Community und unsere Kunden weiterhin über eine sichere, qualitativ hochwertige und vollständig quelloffene Such- und Analyse-Suite verfügen, haben wir das OpenSearch-Projekt eingeführt, einen von der Community betriebenen, ALv2-lizenzierten Fork von Open Source Elasticsearch und Kibana. Die OpenSearch-Suite besteht aus einer Suchmaschine, OpenSearch, und einer Visualisierungs- und Benutzeroberfläche, OpenSearch Dashboards.

Sie können Kibana On-Premises, auf Amazon Elastic Compute Cloud (Amazon EC2) oder auf lizenzierten Apache 2.0-Versionen (bis Version 7.10.2) von Amazon OpenSearch Service ausführen. OpenSearch Dashboards ist eine Open-Source-Alternative zu Kibana, die auch zur Selbstverwaltung verfügbar ist. Es wurde von der letzten Open-Source-Version von Kibana (7.10.2) abgeleitet. Es enthält viele Verbesserungen und wird durch das OpenSearch-Projekt gut unterstützt. Bei On-Premises- oder Amazon-EC2-Bereitstellungen sind Sie für die Bereitstellung der Infrastruktur, die Installation von Kibana oder der OpenSearch-Dashboards-Software und die Verwaltung der Infrastruktur verantwortlich. Mit OpenSearch Service werden Kibana oder OpenSearch Dashboards automatisch mit Ihrer Domain als vollständig verwalteter Service bereitgestellt, der sich automatisch um alle schwierigen Aufgaben zur Verwaltung des Clusters kümmert.

Interaktive Diagramme

Kibana bietet intuitive Diagramme und Berichte, mit denen Sie interaktiv durch große Mengen von Protokolldaten navigieren können. Sie können Zeitfenster dynamisch verschieben, in bestimmte Datenuntergruppen hinein- und herauszoomen und Berichte aufschlüsseln, um umsetzbare Erkenntnisse aus Ihren Daten zu gewinnen.

Mapping-Unterstützung

Kibana verfügt über leistungsstarke geospatiale Funktionen, mit denen Sie geografische Informationen nahtlos in Ihre Daten einfügen und die Ergebnisse auf Karten visualisieren können.

Vorgefertigte Aggregationen und Filter

Mit den vorgefertigten Aggregationen und Filtern von Kibana können Sie eine Vielzahl von Analysen wie Histogramme, Top-N-Abfragen und Trends mit nur wenigen Schritten ausführen.

Leicht zugängliche Dashboards

Sie können ganz einfach Dashboards und Berichte einrichten und diese mit anderen teilen. Sie benötigen lediglich einen Browser, um die Daten anzuzeigen und zu erkunden.