Was ist OpenSearch?
Was ist OpenSearch?
OpenSearch ist eine verteilte, von der Community vorangebrachte, auf Lizenz von Apache 2.0 beruhende, zu 100 % Open-Source-Such- und Analytik-Suite, die für eine breite Palette von Anwendungsfällen wie die Überwachung von Anwendungen in Echtzeit, Protokollanalyse und Website-Suche verwendet werden kann. OpenSearch bietet ein hochgradig skalierbares System für den schnellen Zugriff und die Reaktion auf große Datenmengen mit einem integrierten Visualisierungswerkzeug, OpenSearch Dashboards, das es den Nutzern leicht macht, ihre Daten zu untersuchen. OpenSearch wird von der Apache-Lucene-Suchbibliothek unterstützt und es unterstützt eine Reihe von Such- und Analytikfunktionen wie die k-nearest-neighbors (KNN)-Suche, SQL, Anomalieerkennung, Machine-Learning-Commons, Trace Analytics, Volltext-Suche und mehr.
Was spricht für die Verwendung von OpenSearch?
Mit OpenSearch können Sie Daten für eine Vielzahl von Anwendungsfällen wie Protokoll-Analytik, Suche von Anwendungen, Suche von Unternehmen und mehr problemlos erfassen, absichern, durchsuchen, aggregieren, einsehen und analysieren. Mit OpenSearch profitieren Sie von einem 100 % Open-Source-Produkt, das Sie verwenden, modifizieren, erweitern, vermarkten und weiterverkaufen können, wie Sie wollen. Die Anzahl der OpenSearch-Projektpartner, die eine Vielzahl von Services wie professionellen Support, Weiterentwicklung von Features und verwaltete OpenSearch-Services anbieten, steigt immer weiter an. Das OpenSearch-Projekt wird weiterhin eine sichere, qualitativ hochwertige Such- und Analytik-Suite mit einer umfangreichen Roadmap zu neuen und innovativen Funktionalitäten anbieten.
Was waren die Gründe für das Entwickeln von OpenSearch?
Entwickler schätzen Open-Source-Software aus vielen Gründen. Einer der wichtigsten Gründe ist die Möglichkeit, dass sie diese Software nutzen können, wo und wie sie wollen. Am 21. Januar 2021 kündigte Elastic NV an, dass das Unternehmen seine Softwarelizenzierungsstrategie ändern und neue Versionen von Elasticsearch und Kibana nicht mehr unter der freizügigen Apache-Lizenz, Version 2.0 (ALv2), veröffentlichen wird. Stattdessen veröffentlicht Elastic Elasticsearch und Kibana, wobei der Quellcode unter der Elastic-Lizenz oder der Server Side Public License (SSPL) verfügbar ist. Diese Lizenzen sind nicht Open Source und bieten den Nutzern nicht die gleichen Freiheiten. Da einige Entwickler eine Open-Source-Software haben möchten und da sie die Zusammenarbeit mit nur einem Lieferanten vermeiden möchten, haben wir uns dazu entschieden, eine Abzweigung von der neuesten ALv2-Version von Elasticsearch und Kibana zu erstellen und beizubehalten. Diese Abzweigung heißt OpenSearch und ist unter ALv2 verfügbar.
Was ist der Zusammenhang zwischen OpenSearch und Amazon OpenSearch Service?
Amazon OpenSearch Service ist ein von AWS verwalteter Service. Mit diesem Service können Sie OpenSearch-Cluster ausführen und skalieren, ohne sich um die Verwaltung, Überwachung und Wartung Ihrer Infrastruktur Sorgen machen zu müssen und ohne sich profundes Fachwissen zum Betreiben von OpenSearch-Clustern aneignen zu müssen. Wir haben Unterstützung für OpenSearch in Amazon OpenSearch Service im Sept. 2021 eingeführt. Wir haben mit Version 1.0 begonnen und den Service von Amazon Elasticsearch Service zu Amazon OpenSearch Service umbenannt. Seitdem hat der Service mehrere neue Funktionen unterstützt, die OpenSearch in mehreren Versionen hinzugefügt wurden. Einige Beispiele hierzu sind Unterstützung für clusterübergreifende Replikation, Trace Analytics, Datenströme, Transformationen und eine neue Beobachtbarkeits-Benutzerschnittstelle und Notebooks in den OpenSearch-Dashboards. Zudem wurden erhebliche Verbesserungen an k-NN, Anomalieerkennung, PPL, SQL und Warnfunktionen vorgenommen. Obwohl Amazon OpenSearch Service die alten Open-Source-Elasticsearch-Versionen (bis zu Version 7.10) unterstützt, empfehlen wir nachdrücklich, dass Sie OpenSearch beim Service verwenden, um von den neuen Funktionen zu profitieren, die im Rahmen der Open-Source-OpenSearch-Versionen erstellt werden.
Unterstützt Amazon OpenSearch Service neue Elasticsearch-Versionen höher als 7.10?
Nein. Elasticsearch-Versionen höher als 7.10 sind keine Open-Source-Versionen und nicht unter der permissiven ALv2-Lizenz freigegeben. Obwohl OpenSearch Service Open-Source-ElasticSearch-Versionen bis zur Version 7.10 weiterhin unterstützen wird, nutzen wir ab sofort neue Versionen von Open-Source-OpenSearch, um Funktionen und Innovationen für Kunden bereitzustellen, die Amazon OpenSearch Service für ihre verschiedenen Anwendungsfälle wie Protokollanalyse, Suche und Beobachtbarkeit verwenden.
Wird OpenSearch die Kompatibilität und die Feature-Parität mit neuen Elasticseach-Versionen aufrechterhalten?
Die Roadmap für OpenSearch wird von der Community und von verschiedenen Organisationen vorangebracht, darunter auch AWS. Diese Beteiligten tragen dieser auf Open-Source-Code basierenden Version neue Features bei. OpenSearch wird für eine Vielzahl von Anwendungsfällen wie Echtzeit-Überwachung der Anwendungen, Protokollanalyse und Website-Suche verwendet. Die Roadmap für OpenSearch sollte als unabhängig von Elasticsearch angesehen werden. Der Schwerpunkt auf OpenSearch liegt auf der Bereitstellung neuer Funktionen und Innovationen, die die Kunden verlangen. Obwohl OpenSearch über Funktionen verfügen könnte, die den neuen Funktionen in Elasticsearch (und umgekehrt) ähneln, ist die Implementierung aller Funktionen zwischen den zwei Projekten einzigartig. Das Hauptziel von OpenSearch besteht darin, das zu erstellen, was den Bedürfnissen der OpenSearch-Community und unseren Kunden gerecht wird.
Was sind Beispiele für Features, die OpenSearch bereitstellt?
Feature |
Vorteil |
Bietet Verschlüsselungs-, Authentifizierungs-, Autorisierungs- und Auditing-Funktionen. Dazu gehören Integrationen mit Active Directory, LDAP, SAML, Kerberos, JSON-Web-Tokens und mehr. OpenSearch bietet außerdem eine fein abgestufte rollenbasierte Zugriffskontrolle auf Indices, Dokumente und Felder. |
|
Bietet eine Reihe von Funktionen, die Ihnen bei dem Anpassen des Sucherlebnisses wie Volltext-Abfrage, Auto-Vervollständigung, Scroll-Suche, anpassbare Bewertung und Einstufung und mehr helfen. |
|
Bietet die bekannte SQL-Abfragesyntax. Verwenden Sie Aggregationen, Gruppierung nach und Where-Klauseln, um Ihre Daten zu untersuchen. Lesen Sie Daten als JSON-Dokumente oder CSV-Tabellen, damit Sie das für Sie am besten geeignete Format verwenden können. |
|
Damit können Sie die wohlbekannte SQL-Abfragesyntax verwenden und gleichzeitig auf eine umfangreiche Reihe von Suchfunktionen zugreifen wie Fuzzy Matching, Boosting, Textelement-Abstimmung und mehr. |
|
Der Data Prepper ist eine serverseitige Datenerhebungsfunktion, die Daten filtern, anreichern, transformieren, normalisieren und aggregieren kann, und zwar zur Dowstream-Analyse und Visualisierung. Mit dem Data Prepper können Benutzer benutzerdefinierte Pipelines erstellen, um die betriebliche Ansicht der Anwendungen verbessern können. |
|
Trace Analytics bieten eine MöglichkeitOpenTelemetry-Daten in OpenSearch zu erfassen und zu visualisieren. Diese Daten können Ihnen dabei helfen, Leistungsprobleme in verteilten Anwendungen zu erkennen und zu beheben. |
|
Verwenden Sie die Anwendungsanalytik zur Erstellung von benutzerdefinierten Beobachtbarkeitsanwendungen, in denen Sie Protokollereignisse mit Trace- und Metrik-Daten in eine einzelne Ansicht des Gesamtzustands des Systems kombinieren können. Dadurch können Sie schnell zwischen Protokollen, Traces und Metriken wechseln, um die Ursachen eines jeden Problems festzustellen. |
|
Die Piped Processing Language bietet eine vertraute Abfragesyntax mit einem umfassenden Satz von Befehlen, die durch Pipes (|) getrennt sind, um Daten abzufragen. |
|
Erstellen Sie Betriebsbereiche, um Visualisierungen der Beobachtbarkeit zu organisieren, und zwar mit Piped Processing Language (PPL). |
|
Verwenden Sie Piped-Processing-Language-Anfragen (PPL), um verschiedene Visualisierungen Ihrer Daten, einschließlich Trace-Protokoll-Korrelationen zu erstellen und anzusehen. |
|
Verwenden Sie eine Reihe Machine-Learning-Algorthmen wie kmeans und Anomalieerkennung, um Modelle zu trainieren und Trends in Ihren Daten vorherzusagen. ML Commons integriert sich direkt mit PPL und der REST-API. |
|
Planen, exportieren und teilen Sie Berichte aus Dashboards, gespeicherten Suchen, Warnungen und Visualisierungen. |
|
Nutzen Sie die Machine Learning-Anomalieerkennung auf der Grundlage des Random-Cut-Forest-Algorithmus (RCF), um Anomalien automatisch zu erkennen, sobald Ihre Daten eingelesen werden. Kombinieren Sie mit Warnungen, um Daten nahezu in Echtzeit zu überwachen und automatisch Warnmeldungen zu versenden. |
|
Definieren Sie benutzerdefinierte Richtlinien, um routinemäßige Indexverwaltungsaufgaben, wie Rollover und Löschen, zu automatisieren, und wenden Sie diese auf Indices und Indexmuster an. |
|
Erstellen Sie eine zusammengefasste Ansicht Ihrer Daten rund um bestimmte Bereiche, sodass Sie die Daten auf verschiedene Weise visualisieren oder analysieren können. Nehmen Sie beispielsweise an, dass Sie Daten von Fluggesellschaften haben, die über mehrere Bereiche und Kategorien verteilt sind und Sie möchten eine Zusammenfassung der Daten sehen, die nach Fluggesellschaft, Quartal und dann Preis organisiert sind. Sie können eine Transformationsaufgabe verwenden, um einen neuen, zusammengefassten Index zu erstellen, der nach diesen bestimmten Bereichen organisiert ist. |
|
Wählen Sie die Bereiche aus, an denen Sie interessiert sind und verwenden Sie den Index-Rollup, um einen neuen Index mit nur diesen Bereichen zu erstellen, die zu gröberen Zeit-Buckets zusammengefasst sind. Sie können Monate oder Jahre von Protokolldaten zu einem Bruchteil der Kosten mit der gleichen Abfrageleistung speichern. |
|
Abfrage zahlreicher Cluster-Leistungsmetriken und Aggregationen. Verwenden Sie PerfTop, die Befehlszeilenschnittstelle (CLI), um diese Metriken schnell anzuzeigen und zu analysieren. Verwenden Sie das Root Cause (RCA)-Framework zur Untersuchung von Leistungs- und Zuverlässigkeitsproblemen in Clustern. |
|
Führen Sie komplexe Abfragen durch, ohne sich Gedanken über eine zeitliche Begrenzung der Abfrage zu machen. Mit der asynchronen Suche werden Abfragen im Hintergrund durchgeführt. Verfolgen Sie den Abfragefortschritt und rufen Sie Teilergebnisse ab, sobald sie verfügbar sind. |
|
Erfassung und Visualisierung von OpenTelemetry-Daten für verteilte Anwendungen. Visualisieren Sie den Ablauf von Ereignissen zwischen diesen Anwendungen, um Leistungsprobleme zu erkennen. |
|
Überwachen Sie automatisch Daten und senden Sie automatisch Warnmeldungen an Beteiligte. Mit einer intuitiven Benutzeroberfläche und einer leistungsstarken API lassen sich Warnmeldungen einfach einrichten, verwalten und überwachen. Erstellen Sie hochspezifische Warnbedingungen mit der vollständigen Abfragesprache und den Skriptfunktionen von OpenSearch. |
|
Erstellen Sie Richtlinien zu Warnfunktionen, die Warnmeldungen zu gruppierten Trends in Ihren Daten senden. Beispielsweise können Sie Warnfunktionen für jeden Host erstellen, der über eine durchschnittliche CPU verfügt, die über Ihren gewünschten Schwellenwert liegt. |
|
Replizieren Sie Indizes, Zuordnungen und Metadaten von einem OpenSearch-Cluster zu einem anderen, um clusterübergreifende Redundanz oder Abfragen zu Berichterstellung zur Auslagerung in einem sekundären Cluster zu erstellen. |
|
Mithilfe von Machine Learning können Sie den Algorithmus für die Suche nach dem nächsten Nachbarn auf Milliarden von Dokumenten in Tausenden von Dimensionen mit der gleichen Leichtigkeit ausführen wie eine normale OpenSearch-Abfrage. Verfeinern Sie anhand von Aggregationen und Filterklauseln die Ähnlichkeitssuche weiter. Die k-NN Ähnlichkeitssuche unterstützt Anwendungsfälle wie Produktempfehlungen, Betrugserkennung, Durchsuchen von Bildern und Videos, Durchsuchen verwandter Dokumente und vieles mehr. |
|
Kombinieren Sie Dashboards, Visualisierungen, Text und mehr, um bei der Analyse von Daten Kontext und detaillierte Erklärungen zu liefern. |
|
OpenSearch unterstützt eine Reihe von Sprachkunden wie Go, JavaScript, Python, Java und mehr. Verwenden Sie diese Kunden, um Anwendungen zu erstellen, die sich direkt mit OpenSearch integrieren. |
Wer sponsert und pflegt OpenSearch?
Viele Unternehmen wie AWS, SAP, CapitalOne, RedHat, Logz.io, Aiven.io, Bonsai, Logit.io, InstaCluster und BAInsight sind offizielle Unterstützer von OpenSearch.
Wir empfehlen und nehmen Beiträge von der Community an. Wir erfordern auch keine Contributor License Agreement (CLA), um diese Beiträge zu leisten. Wenn Sie außerdem aktiv Beiträge leisten und mehr Verantwortung im Projekt übernehmen möchten, haben wir einen Prozess für Personen, die nicht bei AWS beschäftigt sind, festgelegt, um Instandhalter-Erkenntnisse in OpenSearch-Projekt-Repositorys hier zu erlangen.
Wie sieht die Zukunft von OpenSearch aus?
Wir haben die erste allgemein verfügbare OpenSearch-Version 1.0 im Juli 2021 vorgestellt. Seitdem wurden viele neue Versionen eingeführt, wie hier ausführlich dargelegt. Mit großem Interessen und Unterstützung vonseiten der Community haben wir mehrere neue Funktionen in wichtigen Anwendungsfällen zur Protokollanalyse, Suche und Beobachtbarkeit eingeführt. Diese Bereiche sind weiterhin wichtige Themen für zukünftige Verbesserungen für sowohl OpenSearch als auch unseren OpenSearch-Dashboards der Visualisierungsschicht. Bitte lesen Sie die Roadmap, um einen schnellen Überblick über die wichtigen Bereiche zu erhalten, auf die sich OpenSearch konzentriert.
Wie ist OpenSearch lizenziert?
Sämtliche Software des OpenSearch-Projekts wird unter der Apache Lizenz, Version 2.0 (ALv2) veröffentlicht. ALv2 gewährt klar umrissene und umfassende Nutzungsrechte, die den Möglichkeiten entsprechen, die Menschen von Open-Source-Software erwarten: Sie können die Open-Source-Software nutzen, verändern, erweitern, vermarkten und weiterverkaufen, wo und wie sie wollen. Wir glauben, dass diese Lizenz für OpenSearch eine breite Akzeptanz und Beiträge ermöglicht, die allen Mitgliedern der Community zugute kommen. Wir haben zudem Richtlinien zur zulässigen Nutzung der Marke OpenSearch veröffentlicht, damit Sie den Namen zum Bewerben Ihrer Angebote verwenden können.
Wo kann ich mehr über die Kompatibilität des Clients und der API von OpenSearch erfahren?
Lesen Sie dieHäufig gestellten Fragen auf der Open-Source-OpenSearch-Website. Die häufig gestellten Fragen stellen auch eine großartige Quelle zu Informationen über Tools und Plug-ins, Aktualisierung der Kompatibilität, der Community im Allgemeinen dar und wie Sie zu OpenSearch beitragen und davon profitieren können.
Weitere Ressourcen
- OpenSearch FAQs »
- Blogs: Auf dem Weg zu einer echten Open Source Elasticsearch und Einführung von OpenSearch »
OpenSearch enthält bestimmten von Apache lizenzierten Elasticsearch-Code von Elasticsearch B.V. und anderen Quellcode. Elasticsearch B.V. ist nicht die Quelle dieses anderen Quellcodes. ELASTICSEARCH ist eine eingetragene Marke von Elasticsearch B.V.