Erste Schritte mit Amazon Kinesis Data Streams

Ein Shard ist die Basiseinheit für den Durchsatz eines Amazon Kinesis-Daten-Stream.

• Ein Shard ist ein "Append-only"-Protokoll und eine Einheit für die Streaming-Fähigkeit. Ein Shard enthält eine Folge von Datensätzen, die nach der Ankunftszeit geordnet sind.
• Ein Shard kann bis zu 1 000 Datensätze pro Sekunde oder 1 MB/s aufnehmen. Fügen Sie weitere Shards hinzu, um die Aufnahmefähigkeit zu erhöhen.
• Fügen Sie Ihrem Stream mithilfe der AWS-Konsole, der UpdateHardCount-API, der automatischen Skalierung über AWS Lambda oder mithilfe eines Autoscaling-Dienstprogramms dynamisch Shards hinzu oder entfernen Sie sie aus Ihrem Stream, wenn sich Ihr Datendurchsatz ändert.
• Wenn Konsumenten ein erweitertes Fanout verwenden, stellt ein Shard für jeden Datenkonsumenten, der für ein erweitertes Fanout registriert ist, 1 MB/s für die Dateneingabe und 2 MB/s für die Datenausgabe bereit.
• Wenn Konsumenten das erweiterte Fanout nicht nutzen, stellt ein Shard 1 MB/s für die Dateneingabe und 2 MB/s für die Datenausgabe bereit. Die Ausgabe wird von allen Konsumenten gemeinsam genutzt, die kein erweitertes Fanout verwenden.
• Die Anzahl der erforderlichen Shards wird beim Erstellen eines Streams angegeben; die Menge lässt sich jederzeit ändern. Beispielsweise können Sie einen Stream mit zwei Shards einrichten. Wenn Sie 5 Datenkonsumenten haben, die das erweiterte Fanout nutzen, kann dieser Stream insgesamt bis zu 20 MB/s für die Datenausgabe bereitstellen (2 Shards x 2 MB/s x 5 Datenkonsumenten). Wenn die Datenkonsumenten das erweiterte Fanout nicht nutzen, hat dieser Stream einen Durchsatz von 2 MB/s für die Dateneingabe und 4 MB/s für die Datenausgabe. In jedem Fall erlaubt dieser Stream bis zu 2000 PUT-Datensätze pro Sekunde bzw. 2 MB/s für die Eingabe, je nachdem, welches Limit zuerst erreicht wird.
• In Amazon Kinesis Data Streams können Sie Metriken auf Shard-Ebene überwachen.

In diesem Tutorial erfahren Sie, wie Sie einen Amazon Kinesis-Daten-Stream erstellen, simulierte Wertpapierdaten in den Daten-Stream senden und eine Anwendung zur Verarbeitung der Daten aus dem Daten-Stream schreiben.  

• Einführung
• Voraussetzungen
• Schritt 1: Stream erstellen
• Schritt 2: IAM-Richtlinien und Nutzer erstellen
• Schritt 3: Implementierungscode herunterladen und erstellen
• Schritt 4: Produzent implementieren
• Schritt 5: Verbraucher implementieren
• Schritt 6: (optional) Verbraucher erweitern
• Schritt 7: Abschluss

Amazon Kinesis vereinfacht das Erfassen, Verarbeiten und Analysieren von Echtzeit-Streaming-Daten, damit Sie zeitnahe Einblicke erhalten und schnell auf neue Informationen reagieren können. In dieser Sitzung stellen wir eine End-to-End-Streaming-Datenlösung vor, die Kinesis Streams für die Datenaufnahme verwendet, Kinesis Analytics für die Echtzeitverarbeitung und Kinesis Firehose für die Persistenz. Wir besprechen im Detail, wie man SQL-Abfragen mithilfe von Streaming-Daten schreibt, und besprechen bewährte Methoden zur Optimierung und Überwachung Ihrer Kinesis Analytics-Anwendungen. Schließlich unterhalten wir uns darüber, wie man die Kosten für das gesamte System abschätzen kann.

Sitzungsaufzeichnung ansehen | Präsentation herunterladen

Möchten Sie Ihr Wissen über AWS-Big Data-Webservices erweitern und Ihre erste große Datenanwendung in der Cloud starten? Wir führen Sie durch die Vereinfachung der großen Datenverarbeitung als Daten-Bus, bestehend aus Einlesen, Speichern, Verarbeiten und Visualisieren. Sie erstellen eine Big-Data-Anwendung mit AWS Managed Services wie Amazon Athena, Amazon Kinesis, Amazon DynamoDB und Amazon S3. Dabei sehen wir uns die Architekturdesignmuster für Big-Data-Anwendungen nochmal im Detail an und ermöglichen Ihnen den Zugang zu einem Take-Home-Labor, damit Sie die Anwendung selbst neu erstellen und anpassen können. Sie sollten Ihren eigenen Laptop mitbringen und mit den AWS-Services vertraut sein, damit sich diese Sitzung maximal für Sie lohnt.

Präsentation herunterladen

In den letzten Jahren ist die Zahl der angeschlossenen Geräte und Echtzeitdatenquellen explosionsartig angestiegen. Aus diesem Grund werden Daten nicht nur kontinuierlich, sondern auch immer schneller produziert. Unternehmen können nicht mehr stunden- oder tagelang warten, sich diese Daten zu Nutze zu machen. Um die wertvollsten Erkenntnisse zu gewinnen, müssen sie diese Daten sofort nutzen, um schnell auf neue Informationen reagieren zu können. In diesem Workshop lernen Sie, wie Sie die Vorteile von Streaming-Datenquellen nutzen können, um nahezu in Echtzeit zu analysieren und zu reagieren. Sie werden mit mehreren Anforderungen an ein realistisches Streaming-Datenszenario konfrontiert und haben die Aufgabe, eine Lösung zu entwickeln, die die Anforderungen mit Services wie Amazon Kinesis, AWS Lambda und Amazon SNS erfolgreich erfüllt.

Präsentation herunterladen

Für alle Unternehmen und Kunden, die Batch-Datenanalysetools einsetzen und die Vorteile der Streaming-Analyse nutzen wollen, ist es wichtig, aus Daten schnellstmöglich umsetzbare Erkenntnisse zu gewinnen. Lernen Sie bewährte Methoden kennen, um Ihre Architektur zu erweitern – von Data Warehouses und Datenbanken bis hin zu Echtzeitlösungen. Erfahren Sie, wie Sie Amazon Kinesis nutzen können, um Echtzeit-Dateneinblicke zu erhalten und diese in Amazon Aurora, Amazon RDS, Amazon Redshift und Amazon S3 zu integrieren. Das Amazon Flex-Team beschreibt, wie es Streaming-Analysen in seiner Amazon Flex-Mobilanwendung verwendet hat, die von Amazon-Auslieferern genutzt wird, um jeden Monat Millionen von Paketen pünktlich zu liefern. Das Team spricht über die Architektur, die den Wechsel von einem Batch-Verarbeitungssystem zu einem Echtzeitsystem ermöglichte, wie es die Herausforderungen bei der Migration vorhandener Batch-Daten zu Streaming-Daten meistern konnte, und welche Vorteile die Echtzeitanalyse bietet.

Sitzungsaufzeichnung ansehen | Präsentation herunterladen

Um am Markt erfolgreich zu sein und differenzierte Kundenerfahrungen bereitzustellen, müssen Unternehmen in der Lage sein, Live-Daten in Echtzeit zu nutzen, um schnelle Entscheidungen zu treffen. In dieser Sitzung lernen Sie die gängigen Anwendungsfälle und Architekturen der Streaming-Datenverarbeitung kennen. Zuerst geben wir einen Überblick über Streaming-Daten und AWS-Streaming-Datenfunktionen. Danach sehen wir uns einige Kundenbeispiele und die dazugehörigen Echtzeit-Streaming-Anwendungen an. Schließlich befassen wir uns im Detail mit den gängigen Architekturen und Designmustern der prominentesten Anwendungsfälle bzgl. Streaming-Daten.

Sitzungsaufzeichnung ansehen | Präsentation herunterladen