Die Eingabe von Daten in Elasticsearch kann eine Herausforderung darstellen, da hierzu eine Reihe von Schritten erforderlich ist, wie das Erfassen, Konvertieren, Zuordnen und Laden von Daten aus unterschiedlichen Datenquellen in Ihren Elasticsearch-Index. Sie müssen die Rohdaten in ein strukturiertes Datenformat wie JSON oder CSV konvertieren, sie bereinigen und Ziel-Datenfeldern zuweisen. Sie müssen die Daten für effizientes Laden außerdem stapeln und puffern, damit sie sofort für Abfragen verfügbar sind, ohne die Rechen- und Netzwerkressourcen Ihres Clusters zu überlasten.
Mit Amazon Elasticsearch Service können Sie all dies einfach umsetzen, indem Sie die Integration von Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch oder AWS IoT nutzen. Hierbei können Sie ganz flexible das Eingabetool auswählen, dass den Anforderungen Ihres Anwendungsfalls am besten entspricht.
Dateneingabe mithilfe von Amazon Kinesis Data Firehose
Mit Amazon Kinesis Firehose können Sie unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in die Formate umwandeln, die von Ihrem Elasticsearch-Index verlangt werden, und diese in Amazon Elasticsearch Service laden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen.
Wählen Sie für die Nutzung dieser Funktion einfach eine AWS Lambda-Funktion aus der Registerkarte "delivery stream configuration" von Amazon Kinesis Firehose in der AWS Management Console aus. Amazon Kinesis Firehose wendet die Funktion AWS Lambda automatisch auf jeden Eingabedatensatz an und lädt die umgewandelten Daten in Ihren Amazon Elasticsearch-Index.
Amazon Kinesis Firehose bietet integrierte Lambda-Blueprints für die Konvertierung allgemeiner Datenquellen wie Apache-Protokolle und Systemprotokolle in die Formate JSON und CSV ohne Änderungen oder Anpassungen. Sie können Amazon Kinesis Firehose auch für die automatische Wiederholung fehlgeschlagener Aufträge und das Sichern der unbearbeiteten Streaming-Daten konfigurieren. Weitere Informationen »
Dateneingabe mithilfe von Logstash
Amazon Elasticsearch Service unterstützt die Integration mit Logstash, einem Open-Source-Datenverarbeitungstool, das Daten aus Quellen sammelt, umwandelt und sie anschließend in Elasticsearch lädt. Sie können Logstash mühelos in Amazon EC2 bereitstellen und Ihre Amazon Elasticsearch-Domain als Backend-Speicher für alle Protokolle aus Ihrer Logstash-Implementierung einrichten. Logstash unterstützt eine Bibliothek an voreingestellten Filtern, für die mühelose Durchführung gängiger Umwandlungen, wie das Parsen von unstrukturierten Protokolldaten in strukturierte Daten durch Mustervergleich; das Umbenennen, Entfernen, Ersetzen und Modifizieren von Feldern in Ihren Datenaufzeichnungen; und das Zusammentragen von Metriken. Weitere Informationen »
Dateneingabe mithilfe von Amazon CloudWatch Logs
Mit Amazon CloudWatch Logs können Sie anhand Ihrer vorhandenen System-, Anwendungs- und kundenspezifischen Protokolldateien Ihre Systeme und Anwendungen überwachen und Probleme beheben. Sie können eine CloudWatch Logs-Protokollgruppe so konfigurieren, dass Daten durch ein CloudWatch Logs-Abonnement beinah in Echtzeit in Ihre Amazon Elasticsearch Service-Domain gestreamt werden. Diese Integration ist praktisch, wenn Sie CloudWatch Logs bereits für das Sammeln von Protokolldaten verwenden und diese Daten mit Ihren Amazon Elasticsearch Service-Benutzern teilen möchten. Weitere Informationen »
Dateneingabe mithilfe von AWS IoT
AWS IoT ist eine verwaltete Cloud-Plattform, mit der verbundene Geräte einfach und sicher mit Cloud-Anwendungen und anderen Geräten zusammenarbeiten können. Mit AWS IoT können Sie Daten von angeschlossenen Geräten erfassen, etwa Verbrauchsgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Mit der AWS-Managementkonsole können Sie AWS IoT so konfigurieren, dass die Daten direkt in den Amazon Elasticsearch Service geladen werden. So können Sie Ihren Kunden Zugriff auf IoT-Daten und -Metriken nahezu in Echtzeit bieten. Weitere Informationen »
So wählen Sie den richtigen Eingabemechanismus aus
Die Wahl des richtigen Eingabemechanismus hängt von den Anforderungen Ihres Anwendungsfalles wie Datenlatenz und -typ ab. Für große Datenvolumen empfehlen wir die Verwendung von Amazon Kinesis Firehose, einem vollständig verwalteten Service, der automatisch skaliert, um dem Durchsatz Ihrer Daten gerecht zu werden, und keine laufende Verwaltung erfordert. Er kann die Daten außerdem komprimieren und stapeln, bevor sie in die Amazon Elasticsearch Service Domain geladen werden. Häufig läuft die Wahl auch darauf hinaus, welche Services Sie bereits nutzen. Wenn Sie beispielsweise bereits Anwendungsprotokolle mithilfe von Amazon CloudWatch Logs sammeln, können Sie die Daten einfach ohne viel zusätzliche Mühe in Ihre Amazon Elasticsearch Service-Domain laden.
Nächste Schritte
- Starten Sie mit Amazon Elasticsearch Service über das kostenlose AWS-Kontingent »
- Versuchen Sie diese kostenlose, 40-minütige praktische Übung »
- Erstellen Sie eine Lösung für die Protokollanalyse, indem Sie diesem schrittweisen Tutorial folgen »
- Arbeiten Sie das Handbuch Erste Schritte zu Amazon Elasticsearch Service durch »
Weitere Informationen zu den Preisen von Amazon Elasticsearch Service
