Amazon Kinesis Data Analytics – Preise

Amazon Kinesis Data Analytics ist die einfachste Möglichkeit, Streaming-Daten in Echtzeit mit Apache Flink, einem Open-Source-Framework und einer Engine für die Verarbeitung von Datenströmen, umzuwandeln und zu analysieren. Amazon Kinesis Data Analytics vereinfacht die Entwicklung und Verwaltung von Apache Flink-Workloads und ermöglicht Ihnen die einfache Integration von Anwendungen in andere AWS-Services.

Sie zahlen bei Amazon Kinesis Data Analytics nur für die tatsächliche Nutzung. Es müssen keine Ressourcen bereitgestellt werden und es entstehen keine Vorlaufkosten. Sie zahlen einen Stundenpreis auf der Basis der Anzahl von Kinesis Processing Units (oder KPUs), die zum Ausführen Ihrer Anwendungen genutzt werden. Eine einzelne KPU umfasst 1 vCPU Compute und 4 GB Speicher.

Bei Anwendungen von Apache Flink wird Ihnen eine einzelne zusätzliche KPU pro Anwendung für die Orchestrierung in Rechnung gestellt. Die Anwendungen werden auch für die Ausführung von Speicher und dauerhaften Backups berechnet. Die Ausführung von Anwendungsspeicher wird für zustandsbehaftete Verarbeitungskapazitäten in Amazon Kinesis Data Analytics verwendet und pro GB/Monat abgerechnet. Dauerhafte Backups sind optional, bieten eine zeitpunktbezogene Wiederherstellung für Anwendungen und werden pro GB/Monat berechnet.

Im Streaming-Modus skaliert Amazon Kinesis Data Analytics automatisch die Anzahl der KPUs, die von Ihrer Stream-Verarbeitungsanwendung benötigt werden, wenn die Anforderungen an Speicher und Rechenleistung schwanken. Sie können Ihre Anwendung mit der erforderlichen Anzahl von KPUs ausstatten.

Im interaktiven Modus werden Ihnen zwei zusätzliche KPUs pro Studio-Anwendung berechnet. Eine KPU wird für die Apache-Flink-Anwendungsorchestrierung und die andere für die serverlose interaktive Entwicklungsumgebung verwendet. Sie werden auch für den laufenden Anwendungsspeicher berechnet, der für zustandsabhängige Verarbeitungsfunktionen verwendet wird. Ausführender Anwendungsspeicher wird pro GB/Monat berechnet.

Bei der Entwicklung im Studio-Notebook haben Sie nicht die Möglichkeit, dauerhafte Anwendungssicherungen zu erstellen. Wenn Sie jedoch Ihre Anwendung im Studio-Notebook vom interaktiven Modus auf den Streaming-Modus umstellen, können Sie dauerhafte Anwendungssicherungen erstellen.

Wir empfehlen Ihnen, Ihre Anwendung mit Produktionslasten zu testen, um eine präzise Schätzung der Anzahl der für Ihre Anwendung erforderlichen KPUs zu erhalten. Die KPU-Nutzung kann je nach Datenvolumen und -Geschwindigkeit, Code-Komplexität, Integrationen und mehr erheblich variieren. Dies trifft vor allem bei der Verwendung der Apache-Flink-Laufzeit in Amazon Kinesis Data Analytics zu. Durch interne Tests haben wir beispielsweise einen Durchsatz von Hunderten von MB pro Sekunde pro KPU für einfache Anwendungen ohne Status und einen Durchsatz von weniger als 1 MB pro Sekunde pro KPU für komplexe Anwendungen beobachtet, die intensive Algorithmen für Machine Learning (ML) verwenden. Unter Berücksichtigung dieser Vorbehalte beträgt die allgemeine Empfehlung, die wir Ihnen vor dem Testen Ihrer Anwendung geben, 1 MB pro Sekunde pro KPU.

Sie verwenden Amazon Kinesis Data Analytics Studio, um die von Ihrem Kinesis-Datenstrom erfassten Streaming-Daten kontinuierlich zu filtern und nur Datensätze von Interesse aufzubewahren. Sie möchten die Möglichkeit haben, Datensätze in Echtzeit anzuzeigen und zu visualisieren und problemlos Abfragen und Programme in SQL und Python zu schreiben. Sie wollen keine dauerhaften Status-Backups. Sie stellen 4 KPUs für Ihr Studio-Notebook basierend auf dem Durchsatz Ihres Eingabestreams bereit. Ihre monatlichen Gebühren für Kinesis Data Analytics werden wie folgt berechnet:

Monatliche Gebühren

Der Preis in der Region USA Region Ost (Nord-Virginia) beträgt 0,11 USD pro KPU/Stunde, die für Ihre Streamingverarbeitungsanwendung verwendet wird. Diese einfache Anwendung verwendet 4 KPUs, um den eingehenden Datenstrom zu verarbeiten. Für jede Studio-Notebook-Anwendung (Beispiel: interaktiver Modus) werden 2 zusätzliche KPUs pro Anwendung berechnet. Monatliche KPU-Gebühren = 30 Tage * 24 Stunden * ((4 KPUs + 2 zusätzliche KPUs) * 0,11 USD/Stunde) = 475,20 USD

Apache Flink-Anwendungen verwenden 50 GB laufenden Anwendungsspeicher pro KPU und werden in US-Ost-1 mit 0,10 USD pro GB/Monat berechnet.

Monatliche Gebühren für laufende Anwendungsspeicherung = 30 Tage * 24 Stunden * 4 KPUs * (50 GB * 0,10 USD/GB/Monat) = 20,00 USD 

Gesamtgebühren = 475,20 USD + 20,00 USD = 495,20 USD

 

Sie verwenden Kinesis Data Analytics Studio, um ein Sliding Window für Streaming-Daten zu erstellen, die von einem Thema in Ihrem Amazon Managed Streaming for Apache-Kafka (Amazon MSK)-Cluster erfasst wurden. Sie verwenden ein Studio-Notebook mit 4 KPUs für acht Stunden an zwei Tagen, um Ihre Abfragen zu entwickeln und zu testen. Nach der Entwicklung stellen Sie die Anwendung als Streaming-Anwendung mit 12 KPUs bereit. Sobald die Streaming-Anwendung bereitgestellt ist, beenden Sie Ihr Studio-Notebook. Die Streaming-Anwendung kann einen dauerhaften Anwendungsstatus verwenden und Sie erstellen täglich dauerhafte Statussicherungen.

Der Preis in der Region USA Ost (Nord-Virginia) beträgt 0,11 USD pro KPU/Stunde, die für Ihre Stromverarbeitungsanwendung verwendet wird.

Monatliche Gebühren

Entwickeln und Testen der Abfrage Kinesis Data Analytics Studio:
KPU-Gebühren = 2 Tage * 8 Stunden * (4 KPUs + 2 zusätzliche KPUs für Studio-Notebook) * 0,11 USD/Stunde) = 10,56 USD

Apache-Flink-Anwendungen nutzen 50 GB laufenden Anwendungsspeicher pro KPU und werden mit 0,10 USD pro GB/Monat in USA-Ost-1 in Rechnung gestellt.

Gebühren für den laufenden Anwendungsspeicher = 2 Tage * 8 Stunden * 4 KPUs * (50 GB * 0,10 USD/GB-Monat) = 0,44 USD

Bereitstellung als Streaming-Anwendung zur kontinuierlichen Ausführung und Erstellung von Anwendungssicherungen:

KPU-Gebühren = 28 Tage * 24 Stunden * (2 KPUs + 1 zusätzliche KPU für Streaming-Anwendung) * 0,11 USD/Stunde) = 221,76 USD

Apache-Flink-Anwendungen nutzen 50 GB laufenden Anwendungsspeicher pro KPU und werden mit 0,121 USD pro GB/Monat in USA-Ost-1 in Rechnung gestellt.

Gebühren für den laufenden Anwendungsspeicher = 28 Tage * 24 Stunden * 2 KPUs * (50 GB * 0,10 USD/GB-Monat) = 9,33 USD

Gebühren für dauerhaften Anwendungsspeicher = 28* (1 MB/Backup * 1 GB/1 000 MB) * 0,023/GB-Monat = 0,01 USD (gerundet auf den nächsten Cent)

Gesamtgebühren = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD

Sie verwenden eine Apache-Flink-Anwendung in Kinesis Data Analytics, um von Ihrem Kinesis-Data-Stream erfasste Protokolldaten kontinuierlich zu transformieren und an Amazon Simple Storage Service (Amazon S3) zu liefern. Die Protokolldaten werden mit mehreren Operatoren transformiert. Dabei wird ein Schema auf die unterschiedlichen Protokollereignisse angewandt, Daten werden nach Ereignistyp partitioniert, nach Zeitstempel sortiert und für eine Stunde vor der Zustellung gepuffert. Die Anwendung hat viele Transformationsschritte, von denen jedoch keiner rechenintensiv ist. Dieser Stream nimmt Daten zu 2 000 Datensätzen/Sekunde für 12 Stunden pro Tag auf. Dies erhöht sich für 12 Stunden pro Tag auf 8 000 Datensätze/Sekunde. Sie erstellen keine dauerhaften Anwendungsdatensicherungen. Die monatlichen Kosten für Kinesis Data Analytics werden folgendermaßen berechnet:

Monatliche Gebühren

Der Preis in der Region USA Ost (Nord-Virginia) beträgt 0,11 USD pro KPU-Stunde. Kinesis Data Analytics weist 50 GB laufenden Anwendungsspeicher pro KPU zu und es entstehen Kosten von 0,10 USD pro GB/Monat.

Schwerer Workload: Während des Zeitraums schwerer Workloads, der 12 Stunden andauert, verarbeitet die Kinesis-Data-Analytics-Anwendung 8 000 Datensätze/Sekunde und skaliert automatisch auf bis zu 8 KPUs hoch. Nach diesem Zeitraum von schweren Workloads skaliert die Kinesis-Data-Analytics-Anwendung die Anwendung nach sechs Stunden mit niedrigerem Durchsatz herab. Die Anwendung wird für insgesamt 18 Stunden pro Tag auf bis zu 8 KPUs hochskaliert.

30 Tage/Monat * 18 Stunden/Tag = 540 Stunden/Monat

Monatliche KPU-Gebühren = 540 Stunden/Monat * 8 KPUs * 0,11 USD/Stunde = 475,20 USD

Monatliche Gebühren für laufende Anwendungsspeicherung = 540 Stunden/Monat * 8 KPUs * 50 GB/KPUs * 0,10 USD/GB-Monat = 30,00 USD

Monatliche KPU- und Speichergebühren = 475,20 USD + 30,00 USD = 505,20 USD

Geringe Arbeitsbelastung: Während der verbleibenden sechs Stunden mit geringer Arbeitsbelastung verarbeitet die Kinesis Data Analytics-Anwendung 2.000 Datensätze/Sekunde und wird automatisch auf 2 KPUs herunterskaliert

30 Tage/Monat * 6 Stunden/Tag = 180 Stunden/Monat

Monatliche KPU-Gebühren = 180 Stunden/Monat * 2 KPUs * 0,11 USD/Stunde = 39,60 USD

Monatliche Gebühren für laufende Anwendungsspeicherung = 180 Stunden/Monat * 2 KPUs * 50 GB * 0,10 USD/GB-Monat = 2,50 USD

Monatliche KPU- und Speichergebühren = 39,60 USD + 2,50 USD = 42,10 USD

Für jede Apache-Flink-Anwendung wird eine zusätzliche KPU pro Anwendung in Rechnung gestellt.

Monatliche Gebühren = 30 * 24 * 1 KPU * 0,11 USD/Stunde = 79,20 USD

Gesamtgebühren = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD

Sie verwenden eine Kinesis-Data-Analytics-for-SQL-Anwendung, um eine einminütige Sliding-Window-Summe von Artikeln zu berechnen, die in Online-Shopping-Transaktionen verkauft wurden, die in Ihrem Kinesis-Stream erfasst wurden. Dieser Stream nimmt normalerweise Daten mit 1.000 Datensätzen pro Sekunde entgegen, aber einmal pro Tag gibt es durch Werbekampagnen innerhalb einer Stunde Spitzen mit bis zu 6.000 Datensätzen pro Sekunde. Die monatlichen Kosten für Kinesis Data Analytics werden folgendermaßen berechnet:

Monatliche Gebühren

Der Preis in der Region USA Ost (Nord-Virginia) beträgt 0,11 USD pro KPU/Stunde, die für Ihre Stream-Verarbeitungsanwendung verwendet wird. Der eingehende Kinesis-Datenstrom überträgt Daten mit einer Geschwindigkeit von 1.000 Datensätzen pro Sekunde. Einmal pro Tag gibt es jedoch innerhalb einer Stunde Spitzen mit bis zu 6.000 Datensätzen pro Sekunde im Stream.

Bei „stabiler Nutzung“, die für 23 von 24 Stunden des Tages erfolgt, nutzt die Abfrage mit Sliding Window 1 KPU zur Verarbeitung des Workloads in diesen Stunden.

30 Tage/Monat * 23 Stunden/Tag = 690 Stunden/Monat 
Stabile Nutzung = 690 Stunden/Monat * (1 KPU * 0,11 USD/Stunde) = 75,90 USD

Bei „Spitzenlastnutzung“, die für 1 von 24 Stunden des Tages erfolgt, nutzt die Abfrage mit Sliding Window 1 bis 2 KPUs. Ihnen werden 2 KPUs für diese eine Stunde der 24 Stunden des Tages in Rechnung gestellt.

30 Tage/Monat * 1 Stunde/Tag = 30 Stunden/Monat 
Spitzenlastnutzung = 30 Stunden/Monat * (2 KPUs * 0,11 USD/Stunde) = 6,60 USD

Gesamtgebühren = 75,90 USD + 6,60 USD = 82,50 USD

Hinweis: Wir behalten uns das Recht vor, Standard-AWS-Datenübertragungskosten für Daten zu berechnen, die in und aus Amazon-Kinesis-Data-Analytics-Anwendungen übertragen werden.