Erste Schritte mit Amazon Elasticsearch Service

Der beste Einstieg in Amazon Elasticsearch Service ist das Durcharbeiten des Handbuchs Erste Schritte, das Teil unserer technischen Dokumentation ist. Binnen weniger Minuten können Sie eine Amazon Elasticsearch Service-Domäne bereitstellen und verwenden. Um praktische Erfahrungen mit Amazon Elasticsearch Service zu sammeln, entwickeln Sie eine Protokollanalyselösung, indem Sie dieser Schritt-für-Schritt-Anleitung folgen.

Ressourcen

Produktinformationen

Handbuch "Erste Schritte"

AWS Management Console

Dokumentation

Versionshinweise

Diskussionsforum

Häufig gestellte Fragen

CloudWatch Logs-Integration

AWS-Kundenvereinbarung

Übersicht zum Servicestatus

Kostenlos bei AWS einsteigen

Kostenloses Konto erstellen
Oder bei der Konsole anmelden

Das kostenlose Kontingent für AWS umfasst 750 Stunden einer t2.micro.elasticsearch- oder t2.small.elasticsearch-Instance pro Monat und optional 10 GB Amazon EBS-Speicher (Magnetfestplatte oder Standardspeicher) pro Monat


Details zum kostenlosen Kontingent für AWS anzeigen »

 

Vorgestellte re:Invent 2017-Veranstaltungen

Expedia verwendet Amazon Elasticsearch Service (Amazon ES) für eine Vielzahl von geschäftskritischen Anwendungsfällen, die von der Protokollaggregation über die Anwendungsüberwachung bis hin zur Preisoptimierung reichen. Bei dieser Veranstaltung sprechen die Mitglieder des Expedia-Teams darüber, wie sie Amazon ES und Kibana zur Analyse und Visualisierung von Docker-Startprotokollen, AWS CloudTrail-Daten und Anwendungsmetriken verwenden. Sie teilen bewährte Methoden für die Entwicklung einer skalierbaren Lösung zur sicheren Protokollanalyse mit Amazon ES, sodass Sie mühelos neue Datenquellen hinzufügen und schnell Einblicke gewinnen können. 

Aufgezeichnete Sitzung ansehen | Präsentation herunterladen

In dieser Sitzung verwenden wir Apache-Webprotokolle als Beispiel und zeigen Ihnen, wie Sie eine End-to-End-Analyselösung entwickeln können. Zuerst geht es darum, wie man einen Amazon ES-Cluster konfiguriert und Daten mit Amazon Kinesis Firehose einliest. Wir befassen uns mit den bewährten Methoden für die Auswahl von Instance-Typen, Speicheroptionen, Shard-Anzahl und Index-Rotationen basierend auf dem Durchsatz der eingehenden Daten. Anschließend zeigen wir Ihnen, wie Sie ein Kibana-Dashboard einrichten und benutzerdefinierte Dashboard-Widgets erstellen. Abschließend besprechen wir Ansätze zur Generierung individueller Ad-hoc-Berichte.

Aufgezeichnete Sitzung ansehen | Präsentation herunterladen

MirrorWeb bietet automatisierte Website- und Social Media-Archivierungsdienste mit Volltextsuche für alle Inhalte. Die britische Regierung beauftragte MirrorWeb mit der Bereitstellung von Suchdiensten für archivierte Daten aus 20 Jahren von über 4 800 Websites. In dieser Sitzung spricht MirrorWeb über den Technologie-Stack, den sie mit Amazon Elasticsearch Service (Amazon ES) entwickelt haben, um die 333 Millionen individueller Dokumente (über 120 TB) zu durchsuchen, die sie innerhalb von 10 Stunden indexiert haben. Sie erfahren, wie MirrorWeb mit AWS Snowball Daten von lokalen Standorten nach Amazon S3 verschoben und diese Daten dann mit Amazon EC2 Spot Instances verarbeitet hat, wodurch die Kosten um über 90 % gesenkt werden konnten. Es geht außerdem darum, wie die Daten mit AWS Lambda in Amazon ES aufgenommen werden konnten. Zu guter Letzt erhalten Sie bewährte Methoden für die Entwicklung einer groß angelegten Dokumentensucharchitektur.

Aufgezeichnete Sitzung ansehen | Präsentation herunterladen

Anwendungen generieren Protokolle. Infrastruktur generiert Protokolle. Selbst Menschen generieren Protokolle (doch normalerweise nennen wir das "medizinische Daten"). Durch die Aufnahme und Analyse von Protokollen können Sie verstehen, wie komplexe Systeme funktionieren, und schnell erkennen und diagnostizieren, wenn sie nicht so funktionieren, wie sie sollten. In diesem Workshop nehmen wir Protokoll-Streams auf und analysieren sie mit Amazon Kinesis Firehose und Amazon Elasticsearch Service. Sie sollten mit den AWS-Grundlagen vertraut sein (Amazon EC2, Amazon S3 und Sicherheitsgruppen). Sie benötigen einen Laptop mit einem Chrome- oder Firefox-Browser.

Präsentation herunterladen »

Aufgezeichnete Webinare

Die Protokollanalyse ist ein häufiger Big Data-Anwendungsfall, mit dem Sie Protokolldaten von Websites, Mobilgeräten, Servern, Sensoren usw. für viele verschiedene Anwendungen, zum Beispiel digitales Marketing, Anwendungsüberwachung, Betrugserkennung, Ad Tech, Gaming und IoT, analysieren können. In diesem Tech Talk werden wir Sie Schritt für Schritt durch den Prozess der Entwicklung einer End-to-End-Analyselösung führen, die Datenströme mit Amazon Kinesis Firehose, Amazon Kinesis Analytics und AWS Lambda aufnimmt, transformiert und lädt. Die verarbeiteten Daten werden in einem Amazon Elasticsearch Service-Cluster gespeichert und wir werden Kibana nutzen, um die Daten nahezu in Echtzeit zu visualisieren.

Lernziele:

  1. Referenzarchitektur für die Entwicklung einer kompletten Protokollanalyselösung
  2. Überblick über die in Anspruch genommenen Dienste und deren Zusammenwirken
  3. Bewährte Methoden für die Implementierung von Protokollanalysen

Aufzeichnung ansehen | Präsentation herunterladen

Data Lakes können aus riesigen Mengen unstrukturierter Daten bestehen, was es schwierig macht, sie zu durchsuchen und zu erkunden. Mit Amazon Elasticsearch Service können Sie auf einfache Weise die Metadaten und den Inhalt der Dokumente in Ihren Data Lakes indizieren und durchsuchen. In diesem Tech Talk lernen Sie, wie Sie Amazon Elasticsearch Service verwenden, um ein Metadaten-Repository für Ihren Data Lake zu erstellen und den Inhalt Ihrer Dokumente zu indizieren, damit Sie Dateien anhand des darin enthaltenen Textes leicht finden können.

Lernziele:

  • Verstehen der Such- und Visualisierungsfunktionen von Amazon Elasticsearch Service
  • Erfahren, wie Sie Amazon Kinesis Firehose so einrichten, dass es Metadaten von Dokumenten in den Amazon Elasticsearch Service einlesen, transformieren und laden kann
  • Kennenlernen von bewährten Methoden für den Aufbau eines Metadaten-Repositorys für Ihre Data Lakes mit Amazon Elasticsearch Service

Aufzeichnung ansehen | Präsentation herunterladen

Amazon Elasticsearch Service (Amazon ES) vereinfacht die Einrichtung und den Betrieb von Elasticsearch-Clustern auf AWS. Mit Amazon Virtual Private Cloud (Amazon VPC) können Sie AWS-Ressourcen in einem sicheren virtuellen Netzwerk starten, das Sie selbst definieren. Amazon ES unterstützt jetzt VPC-Endpunkte, sodass Sie eine private Verbindung zwischen Ihrer VPC und Ihren Amazon ES-Domänen herstellen können. In diesem Webinar zeigen wir Ihnen, wie Sie eine Amazon ES-Domäne einrichten und konfigurieren und Protokolldaten von einer VPC an diese Domäne senden. Wir behandeln Sicherheit, Skalierung und Zugriffskontrolle für Amazon ES mit VPC.

Lernziele:

  • Verstehen, wie Amazon ES-Sicherheit funktioniert
  • Lernen, Amazon VPC-Endpunkte mit Amazon ES zu nutzen
  • Beispiele für bewährte Methoden für Sicherheit und Zugriffskontrolle für Ihre Amazon ES-Domänen

Aufzeichnung ansehen | Präsentation herunterladen