Erste Schritte mit Amazon Kinesis Data Streams
Erste Schritte
Amazon Kinesis Data Streams ist ein extrem skalierbarer, äußerst robuster Datenerfassungs- und -verarbeitungsservice, der für Datenstreaming optimiert ist. Sie können Hunderttausende von Datenproduzenten so konfigurieren, dass sie kontinuierlich Daten in Ihren Amazon Kinesis-Daten-Stream einleiten. Daten stehen Ihren Amazon-Kinesis-Anwendungen innerhalb von Millisekunden zur Verfügung. Die Anwendungen erhalten die Datensätze in der Reihenfolge, in der sie generiert wurden.
Amazon Kinesis Data Streams ist in eine Reihe von AWS-Services integriert, darunter Amazon Kinesis Data Firehose zur Umwandlung von Streaming-Daten in nahezu Echtzeit und zur Bereitstellung von Streaming-Daten in einem AWS Data Lake wie Amazon S3, Amazon Managed Service für Apache Flink für verwaltete Stream-Verarbeitung, AWS Lambda zur Ereignis- oder Datensatzverarbeitung, AWS PrivateLink für eine private Konnektivität, Amazon Cloudwatch zur Verarbeitung von Metriken und Protokollen und AWS KMS zur serverseitigen Verschlüsselung.
Amazon Kinesis Data Streams wird als Gateway für eine Big-Data-Lösung verwendet. Daten aus verschiedenen Quellen werden in einen Amazon Kinesis-Stream eingeleitet und anschließend werden die Daten von verschiedenen Amazon Kinesis-Anwendungen aus dem Stream konsumiert. In diesem Beispiel führt eine Anwendung (gelb) ein Echtzeit-Dashboard mit den Streaming-Daten aus. Eine weitere Anwendung (rot) führt eine einfache Aggregation aus und übermittelt verarbeitete Daten an Amazon S3. Die Daten in S3 werden weiterverarbeitet und für komplexe Analysen in Amazon Redshift gespeichert. Die dritte Anwendung (grün) gibt Rohdaten in Amazon S3 aus, die dann zur kostengünstigeren Langzeitspeicherung in Amazon Glacier archiviert werden. Beachten Sie, dass diese drei Datenverarbeitungswege gleichzeitig und parallel ausgeführt werden.
Erste Schritte mit Amazon Kinesis Data Streams
Neuigkeiten bei Amazon Kinesis Data Streams
Fordern Sie Unterstützung für Ihre Machbarkeitsstudie und Bewertung an
Videos
Verwenden von Kinesis Data Streams
Nachdem Sie sich bei Amazon Web Services angemeldet haben, können Sie Amazon Kinesis Data Streams wie folgt verwenden:
- Indem Sie einen Amazon Kinesis-Daten-Stream entweder über die Amazon Kinesis Management Console oder über die Amazon Kinesis-API CreateStream erstellen.
- Indem Sie Ihre Datenproduzenten so konfigurieren, dass sie kontinuierlich Daten in Ihren Amazon Kinesis-Daten-Stream einleiten.
- Indem Sie Ihre Amazon Kinesis-Anwendungen so aufbauen, dass sie Daten aus Ihrem Amazon Kinesis-Daten-Stream lesen und verarbeiten.