Erste Schritte mit dem Projekt

8 Schritte  |  60 Minuten

Kosten für Projektabschluss: Die geschätzten Kosten zum Abschluss dieses Projekts betragen 0,51 USD. Dabei wird davon ausgegangen, dass Sie sich innerhalb des kostenlosen Kontingents für AWS befinden, die empfohlenen Konfigurationen verwenden und alle im Projekt verwendeten Ressourcen innerhalb einer Stunde nach der Erstellung wieder löschen. Ihr Anwendungsfall erfordert möglicherweise andere Konfigurationen, die sich auf die Fakturierung auswirken können. Verwenden Sie den Preisrechner, um die auf Ihre Bedürfnisse zugeschnittenen Kosten zu schätzen.

Voraussichtliche monatliche Kosten: Die Gesamtkosten für die Erstellung und Pflege Ihrer Protokollanalyselösung variieren je nach Nutzung und Konfigurationseinstellungen. Wenn Sie die in diesem Leitfaden empfohlene Standardkonfiguration verwenden, kostet das Projekt normalerweise 367,74 USD pro Monat.

Die AWS-Preise basieren auf Ihrer Nutzung der einzelnen Services. Die Gesamtsumme der Nutzungskosten für die einzelnen Services ergibt Ihre monatliche Rechnung. Auf den Registerkarten unten erfahren Sie, wofür die einzelnen Services verwendet werden und wie sich die Nutzung des jeweiligen Service auf Ihre Rechnung auswirkt.

  • Amazon Kinesis Firehose

    Produktbeschreibung: Amazon Kinesis Firehose ist ein vollständig verwalteter Service zum Liefern von Echtzeit-Streaming-Daten an Ziele wie Amazon S3, Amazon Redshift oder Amazon ES. Mit Firehose müssen Sie keine Anwendungen schreiben und keine Ressourcen verwalten. Sie konfigurieren Ihre Datenproduzenten zum Senden von Daten an Firehose. Die Daten werden dann automatisch an das angegebene Ziel geliefert.

    Preisgestaltung: Die Preise von Amazon Kinesis Firehose richten sich nach dem Volumen der in Amazon Kinesis Firehose aufgenommenen Daten, das wie folgt berechnet wird: Anzahl der an den Service gesendeten Datensätze, multipliziert mit der auf den nächsten 5-KB-Schritt aufgerundeten Größe der einzelnen Datensätze. Wenn Ihre Datensätze beispielsweise jeweils 42 KB groß sind, zählt Amazon Kinesis Firehose pro Datensatz eine aufgenommene Datenmenge von 45 KB. In der Region USA Ost liegt der Preis für Amazon Kinesis Firehose bei 0,035 USD pro GB an aufgenommenen Daten. Weitere Informationen finden Sie in der Amazon Kinesis Firehose-Preisliste.

    Kostenbeispiel: In diesem Tutorial werden zwei separate Amazon Kinesis Firehose-Lieferdatenströme erstellt. Ein Datenstrom empfängt die Daten von Ihrem Apache-Zugriffsprotokollproduzenten, der andere empfängt die Ausgabe einer Amazon Kinesis Analytics-Anwendung.

    Nehmen Sie für den ersten Firehose-Lieferdatenstrom an, dass der Produzent 500 Datensätze pro Sekunde sendet und dass jeder Datensatz kleiner als 5 KB ist (typisch für einen Apache-Zugriffsprotokolldatensatz). Die monatliche Schätzung der Datenaufnahme in den Firehose-Lieferdatenstrom setzt sich wie folgt zusammen:

    • Der Preis in der Region USA Ost beträgt 0,035 USD pro GB an aufgenommenen Daten.
    • Datensatzgröße, aufgerundet auf den nächsten 5-KB-Schritt = 5 KB
    • Aufgenommene Daten (GB/s) = (500 Datensätze/s * 5 KB/Datensatz) / 1 048 576 KB/GB = 0,002384 GB/s
    • Aufgenommene Daten (GB/Monat) = 30 Tage/Monat * 86 400 s/Tag * 0,002384 GB/s = 6 179,81 GB/Monat
    • Monatliche Gebühr: 6 179,81 * 0,035 USD/GB = 216,29 USD
    • Stündliche Gebühr: Nehmen Sie für dieses Tutorial an, dass das System nur eine Stunde lang Daten aufnimmt. Die Kosten für dieses spezifische Tutorial belaufen sich auf ca. 0,30 USD. 

     

    Der zweite Firehose-Lieferdatenstrom empfängt wesentlich seltener Datensätze. Da die Amazon Kinesis Analytics-Anwendung pro Minute nur wenige Datenzeilen ausgibt, sind die Kosten für diesen Lieferdatenstrom deutlich geringer. Wenn beispielsweise nur fünf Datensätze pro Minute aufgenommen werden und jeder Datensatz kleiner als 5 KB ist, belaufen sich die Kosten für den Lieferdatenstrom für die in diesem Tutorial angenommene einstündige Dauer auf 0,00005 USD.

  • Amazon Kinesis Analytics

    Produktbeschreibung: Amazon Kinesis Analytics ist die einfachste Möglichkeit, Streaming-Daten in Echtzeit mit Standard-ANSI SQL zu bearbeiten und zu analysieren. Es versetzt Sie in die Lage, Daten aus Amazon Kinesis Streams und Amazon Kinesis Firehose zu lesen und Abfragen für die Datenstromverarbeitung zu erstellen, durch die eingehende Daten direkt gefiltert, transformiert und aggregiert werden. Amazon Kinesis Analytics erkennt automatisch Standard-Datenformate, interpretiert die Daten und schlägt ein Schema vor, das Sie im interaktiven Schema-Editor bearbeiten können. Es bietet einen interaktiven SQL-Editor und Vorlagen für die Datenstromverarbeitung, sodass Sie in wenigen Minuten komplexe Abfragen für die Datenstromverarbeitung schreiben können. Amazon Kinesis Analytics führt Ihre Abfragen kontinuierlich aus und schreibt die verarbeiteten Ergebnisse an Ausgabeziele wie Amazon Kinesis Streams und Amazon Kinesis Firehose, die die Daten wiederum an Amazon S3, Amazon Redshift oder Amazon ES liefern können. Die erforderlichen Ressourcen zum Ausführen Ihrer Abfragen werden von Amazon Kinesis Analytics automatisch bereitgestellt und skaliert.

    Preisgestaltung: Sie zahlen bei Amazon Kinesis Analytics nur für die tatsächliche Nutzung. Ihnen wird ein Stundenpreis auf der Basis der durchschnittlichen Anzahl von Kinesis Processing Units (KPUs) in Rechnung gestellt, die zum Ausführen Ihrer Anwendung für die Datenstromverarbeitung genutzt werden.

    Eine einzelne KPU ist eine Einheit für die Datenstromverarbeitungskapazität und setzt sich aus 4 GB Arbeitsspeicher, einer vCPU für die Datenverarbeitung und den entsprechenden Netzwerkfunktionen zusammen. Da die Komplexität Ihrer Abfragen schwankt und somit auch die Anforderungen an Arbeitsspeicher und Rechenleistung variieren, skaliert Amazon Kinesis Analytics die Anzahl der erforderlichen KPUs für die Ausführung Ihrer Analyse automatisch und elastisch. Mit Amazon Kinesis Analytics müssen Sie weder Ressourcen bereitstellen noch Vorab-Kosten oder Mindestgebühren zahlen.

    Kostenbeispiel: In diesem Beispiel wird davon ausgegangen, dass das System sechs Stunden lang in der Region USA Ost ausgeführt wird. Die SQL-Abfrage in diesem Tutorial ist sehr einfach und verbraucht nicht mehr als eine KPU. Da der Preis für Amazon Kinesis Analytics in der Region USA Ost 0,11 USD pro KPU-Stunde beträgt und das Tutorial sechs Stunden lang ausgeführt wird, belaufen sich die Gesamtkosten für die Nutzung von Amazon Kinesis Analytics auf 0,66 USD.

  • Amazon Elasticsearch Service

    Produktbeschreibung: Amazon ES ist eine beliebte Open-Source-basierte Such- und Analyse-Engine für Big-Data-Anwendungsfälle wie Protokoll- oder Click-Stream-Analysen. Amazon ES verwaltet Kapazität, Skalierung, Patching und Administration von Elasticsearch-Clustern und bietet gleichzeitig direkten Zugriff auf die Elasticsearch-API.

    Preisgestaltung: Sie zahlen bei Amazon ES nur für die tatsächliche Nutzung. Es fallen weder Mindestgebühren noch Vorausleistungen an. Ihnen werden Amazon Elasticsearch-Instance-Stunden, ein Amazon EBS-Volume (falls Sie diese Option wählen) und Standardgebühren für die Datenübertragung berechnet. Weitere Informationen dazu finden Sie unter Amazon Elasticsearch Service – Preise.

    Kostenbeispiel: Für dieses Tutorial wird davon ausgegangen, dass Sie beim Erstellen der Amazon ES-Domain die Standardwerte auswählen, sodass die Gesamtkosten wie folgt berechnet werden können: Eine Instance vom Typ „m3.medium.elasticsearch“ kostet 0,094 USD pro Stunde * 1 Stunde = 0,094 USD.

  • Amazon S3

    Produktbeschreibung: Amazon S3 stellt einen sicheren, zuverlässigen und hochgradig skalierbaren Cloud-Speicher für die Objekte bereit, aus denen Ihre Anwendung besteht. Beispiel für Objekte, die Sie speichern können, sind u. a. Quellcode, Protokolle, Bilder, Videos und andere Artefakte, die beim Bereitstellen der Anwendung erstellt werden. Amazon S3 erleichtert den Einsatz von Objektspeichern dank einer einfachen Web-Schnittstelle für die Speicherung und das Abrufen Ihrer Dateien überall aus dem Web. Somit sind Ihre Daten für Besucher stets verfügbar.

    Preisgestaltung: Die Preise für Amazon S3 basieren auf fünf Komponenten: dem Typ des verwendeten S3-Speichers, in dem Sie Ihre Website-Inhalte speichern (z. B. USA Ost im Gegensatz zu Asien-Pazifik [Sydney]), der Menge an gespeicherten Daten, der Anzahl an Anfragen, die Sie oder Ihre Benutzer zum Speichern neuer Inhalte oder Abrufen vorhandener Inhalte verwenden, und der Menge an Daten, die aus S3 an Sie oder Ihre Benutzer übertragen werden. Da Sie Inhalte mit Amazon CloudFront liefern, basieren Ihre S3-Kosten auf dem Speicher. Weitere Informationen finden Sie unter Amazon S3 – Preise.

    Kostenbeispiel: Wenn Sie Standard Storage in der Region USA Ost verwenden und 5 GB an Inhalten speichern, bezahlen Sie 0,15 USD pro Monat. Wenn Sie Ihr Konto in den letzten 12 Monaten erstellt und ein Anrecht auf das kostenlose AWS-Kontingent haben, bezahlen Sie 0,00 USD pro Monat. Für dieses Tutorial wird davon ausgegangen, dass der Produzent 5 GB Daten erstellt. Über einen sechsstündigen Zeitraum belaufen sich die Gesamtkosten für das Speichern der Datensätze in Amazon S3 auf 0,00125 USD.

  • Amazon EC2

    Produktbeschreibung: Amazon EC2 stellt die virtuellen Anwendungsserver (Instances) bereit, um Ihre Webanwendung auf der Plattform Ihrer Wahl auszuführen. EC2 ermöglicht das problemlose Konfigurieren und Skalieren Ihrer Datenverarbeitungskapazität, um auf Veränderungen bei Anforderungen und Bedarf zu reagieren. Amazon EC2 ist in die bewährte Datenverarbeitungsumgebung von Amazon integriert, wodurch Sie die AWS-Suite der Services nutzen können.

    Preisgestaltung: Die Amazon EC2-Preise basieren auf vier Komponenten: auf dem ausgewählten Instance-Typ (EC2 wird mit mehr als 40 Instance-Typen und optimierten Optionen für Verarbeitung, Arbeitsspeicher, Massenspeicher und mehr bereitgestellt), auf der Region, in der sich Ihre Instances befinden, auf der von Ihnen ausgeführten Software und auf dem ausgewählten Preismodell (On-Demand-Instances, Reserved Capacity, Spot usw.). Weitere Informationen finden Sie in der Preisübersicht zu Amazon EC2.

    Kostenbeispiel: Nehmen Sie an, dass sich Ihre Protokolldateien in einer einzelnen Linux-t2.nano-EC2-Instance in der Region USA Ost befinden. Bei einem On-Demand-Preismodell belaufen sich die monatlichen Kosten für Ihre virtuelle Maschine auf 4,68 USD. Im Rahmen dieses Implementierungsleitfadens liegen Ihre EC2-Kosten voraussichtlich bei 0,0065 USD. (Bei dieser Schätzung wird davon ausgegangen, dass die protokollgenerierende Instance eine Stunde lang ausgeführt wird.)

Erste Schritte mit dem Projekt