Erste Schritte mit dem Projekt

8 Schritte  |  60 Minuten

Kosten für den Abschluss des Projekts: Die Kosten zum Abschließen dieses Projekts betragen 0,51 USD. Dabei wird angenommen, dass Sie sich innerhalb des kostenlosen Kontingents für AWS befinden, die empfohlenen Konfigurationen verwenden und alle Ressourcen innerhalb einer Stunde nach Projektabschluss wieder löschen. Ihr Anwendungsfall erfordert möglicherweise andere Konfigurationen, die sich auf die Fakturierung auswirken können. Verwenden Sie die Anwendung Einfacher Monatsrechner, um die speziellen Kosten für Ihre Anforderungen zu schätzen.

Schätzung der monatlichen Fakturierung: Die Gesamtkosten des Erstellens und Wartens Ihrer Protokollanalyselösung variieren je nach Nutzung und Konfigurationseinstellungen. Wenn Sie die in diesem Leitfaden empfohlene Standardkonfiguration verwenden, kostet das Projekt normalerweise 367,74 USD pro Monat.

Die AWS-Preise basieren auf Ihrer Nutzung der einzelnen Services. Die insgesamt kombinierte Nutzung der einzelnen Services ergibt Ihre monatliche Rechnung. Auf den Registerkarten unten erfahren Sie, wofür die einzelnen Services verwendet werden und wie sich dies auf Ihre Rechnung auswirkt.

  • Amazon Kinesis Firehose

    Produktbeschreibung: Amazon Kinesis Firehose ist ein vollständig verwalteter Service zum Liefern von Echtzeit-Streaming-Daten an Ziele wie Amazon S3, Amazon Redshift oder Amazon ES. Mit Firehose müssen Sie keine Anwendungen schreiben und keine Ressourcen verwalten. Sie konfigurieren Ihre Datenproduzenten zum Senden von Daten an Firehose. Die Daten werden dann automatisch an das angegebene Ziel geliefert.

    Preisgestaltung: Die Preise von Amazon Kinesis Firehose richten sich nach dem Volumen der in Amazon Kinesis Firehose aufgenommenen Daten, das wie folgt berechnet wird: Anzahl der an den Service gesendeten Datensätze, multipliziert mit der auf den nächsten 5-KB-Schritt aufgerundeten Größe der einzelnen Datensätze. Wenn Ihre Datensätze beispielsweise jeweils 42 KB groß sind, zählt Amazon Kinesis Firehose pro Datensatz eine aufgenommene Datenmenge von 45 KB. In der Region USA Ost ist der Preis für Amazon Kinesis Firehose 0,035 USD pro GB an aufgenommenen Daten. Weitere Informationen finden Sie in der Amazon Kinesis Firehose-Preisliste.

    Kostenbeispiel: In diesem Tutorial erstellen Sie zwei separate Amazon Kinesis Firehose-Liefer-Streams. Ein Stream empfängt die Daten von Ihrem Apache-Zugriffsprotokollproduzenten, der andere empfängt die Ausgabe einer Amazon Kinesis Analytics-Anwendung.

    Nehmen Sie für den ersten Firehose-Liefer-Stream an, dass der Produzent 500 Datensätze pro Sekunde sendet und dass jeder Datensatz kleiner als 5 KB ist (typisch für einen Apache-Zugriffsprotokolldatensatz). Die monatliche Schätzung der Datenaufnahme in den Firehose-Liefer-Stream besteht aus Folgendem:

    • Der Preis in der Region USA Ost beträgt 0,035 USD pro GB an aufgenommenen Daten.
    • Datensatzgröße, aufgerundet auf den nächsten 5-KB-Schritt = 5 KB
    • Aufgenommene Daten (GB/s) = (500 Datensätze/s * 5 KB/Datensatz) / 1 048 576 KB/GB = 0.002384 GB/s
    • Aufgenommene Daten (GB/Monat) = 30 Tage/Monat * 86 400 s/Tag * 0.002384 GB/s = 6 179,81 GB/Monat
    • Monatliche Gebühr: 6 179,81 * 0,035 USD/GB = 216,29 USD
    • Stündliche Gebühr: Nehmen Sie für dieses Tutorial an, dass das System nur eine Stunde lang Daten aufnimmt. Sie speziellen Kosten für dieses Tutorial würden sich auf ca. 0,30 USD belaufen. 

     

    Der zweite Firehose-Liefer-Stream empfängt wesentlich seltener Datensätze. Da die Amazon Kinesis Analytics-Anwendung pro Minute nur wenige Datenzeilen ausgibt, sind die Kosten für diesen Liefer-Stream deutlich niedriger. Wenn beispielsweise nur fünf Datensätze pro Minute aufgenommen werden und jeder Datensatz kleiner als 5 KB ist, belaufen sich die Kosten für den Liefer-Stream für die in diesem Tutorial angenommene einstündige Dauer auf 0,00005 USD.

  • Amazon Kinesis Analytics

    Produktbeschreibung: Amazon Kinesis Analytics ist die einfachste Möglichkeit, Streaming-Daten in Echtzeit mit Standard-ANSI SQL zu bearbeiten und zu analysieren. Es versetzt Sie in die Lage, Daten aus Amazon Kinesis Streams und Amazon Kinesis Firehose zu lesen und Abfragen für die Stream-Verarbeitung zu erstellen, die Daten direkt nach Empfang filtern, transformieren und aggregieren. Amazon Kinesis Analytics erkennt automatisch Standard-Datenformate, interpretiert die Daten und schlägt ein Schema vor, das Sie im interaktiven Schema-Editor bearbeiten können. Es bietet einen interaktiven SQL-Editor und Vorlagen für die Stream-Verarbeitung, sodass Sie komplexe Abfragen für die Stream-Verarbeitung in wenigen Minuten schreiben können. Amazon Kinesis Analytics führt Ihre Abfragen kontinuierlich aus und schreibt die verarbeiteten Ergebnisse an Ausgabeziele wie beispielsweise Amazon Kinesis Streams und Amazon Kinesis Firehose, die die Daten wiederum an Amazon S3, Amazon Redshift oder Amazon ES liefern können. Die erforderlichen Ressourcen zum Ausführen Ihrer Abfragen werden von Amazon Kinesis Analytics automatisch bereitgestellt, eingesetzt und skaliert.

    Preisgestaltung: Sie zahlen bei Amazon Kinesis Analytics nur für die tatsächliche Nutzung. Sie zahlen einen Stundenpreis auf der Basis der durchschnittlichen Zahl von Kinesis Processing Units (KPUs), die zum Ausführen Ihrer Anwendung für die Stream-Verarbeitung genutzt werden.

    Eine einzelne KPU ist eine Einheit für die Stream-Verarbeitungskapazität, die aus 4 GB Arbeitsspeicher, 1 vCPU für Datenverarbeitung und zugehörigen Netzwerkfähigkeiten besteht. Da die Komplexität Ihrer Abfragen schwankt und somit auch die Anforderungen an Arbeitsspeicher und Rechenleistung variieren, skaliert Amazon Kinesis Analytics die Anzahl der erforderlichen KPUs für die Ausführung Ihrer Analyse automatisch und elastisch. Mit Amazon Kinesis Analytics müssen Sie weder Ressourcen bereitstellen noch Vorab-Kosten oder Mindestgebühren zahlen.

    Kostenbeispiel: In diesem Beispiel wird angenommen, dass das System 6 Stunden lang in der Region USA Ost ausgeführt wird. Die SQL-Abfrage in diesem Tutorial ist sehr einfach und verbraucht nicht mehr als eine KPU. Da der Preis für Amazon Kinesis Analytics in der Region USA Ost 0,11 USD pro KPU-Stunde beträgt und das Tutorial 6 Stunden dauert, belaufen sich die Gesamtkosten für die Nutzung von Amazon Kinesis Analytics auf 0,66 USD.

  • Amazon Elasticsearch Service

    Produktbeschreibung: Amazon ES ist eine beliebte Such- und Analyse-Engine für Big-Data-Anwendungsfälle wie beispielsweise Protokoll- oder Clickstream-Analysen. Amazon ES verwaltet Kapazität, Skalierung, Patching und Administration von Elasticsearch-Clustern und bietet Ihnen gleichzeitig direkten Zugriff auf die Elasticsearch-API.

    Preisgestaltung: Sie zahlen bei Amazon ES nur für die tatsächliche Nutzung. Es fallen weder Mindestgebühren noch Vorausleistungen an. Ihnen werden Amazon Elasticsearch-Instance-Stunden, ein Amazon EBS-Volume (falls Sie diese Option wählen) und Standardgebühren für die Datenübertragung berechnet. Weitere Informationen dazu finden Sie unter Amazon Elasticsearch Service – Preise.

    Kostenbeispiel: Für dieses Tutorial wird angenommen, dass Sie beim Erstellen der Amazon ES-Domain die Standardwerte auswählen, sodass die Gesamtkosten wie folgt berechnet werden können: Ein Instance-Typ m3.medium.elasticsearch kostet 0,094 USD pro Stunde * 1 Stunde = 0,094 USD.

  • Amazon S3

    Produktbeschreibung: Amazon S3 stellt einen sicheren, zuverlässigen und hochgradig skalierbaren Cloud-Speicher für die Objekte bereit, aus denen Ihre Anwendung besteht. Beispiel für Objekte, die Sie speichern können, sind u. a. Quellcode, Protokolle, Bilder, Videos und andere Artefakte, die beim Bereitstellen der Anwendung erstellt werden. Amazon S3 erleichtert den Einsatz von Objektspeichern dank einer einfachen Web-Schnittstelle für die Speicherung und das Abrufen Ihrer Dateien überall aus dem Web. Somit sind Ihre Daten für Besucher stets verfügbar.

    Preisgestaltung: Die Amazon S3-Preise basieren auf fünf Komponenten: auf dem verwendeten S3-Speichertyp, in dem Sie Ihre Website-Inhalte speichern (zum Beispiel USA Ost oder Asien-Pazifik – Sydney), auf der gespeicherten Datenmenge, auf der Anzahl der Anforderungen, die Sie oder Ihre Benutzer ausführen, um neue Inhalte zu speichern oder bestehende Inhalte abzurufen, und auf der Datenmenge, die von S3 zu Ihnen und Ihren Benutzern übertragen wird. Da Sie Inhalte mit Amazon CloudFront liefern, basieren Ihre S3-Kosten auf dem Speicher. Weitere Informationen dazu finden Sie unter Amazon S3 – Preise.

    Kostenbeispiel: Wenn Sie Standard Storage in der Region USA Ost verwenden und 5 GB an Inhalten speichern, bezahlen Sie 0,15 USD pro Monat. Wenn Sie Ihr Konto in den letzten 12 Monaten erstellt und ein Anrecht auf das kostenlose AWS-Kontingent haben, bezahlen Sie 0,00 USD pro Monat. Für dieses Tutorial wird angenommen, dass der Produzent 5 GB Daten erstellt. Über einen sechsstündigen Zeitraum belaufen sich die Gesamtkosten für das Speichern der Datensätze in Amazon S3 auf 0,00125 USD.

  • Amazon EC2

    Produktbeschreibung: Amazon EC2 stellt die virtuellen Anwendungsserver bereit, die als Instances bezeichnet werden, um Ihre Webanwendung auf der Plattform Ihrer Wahl auszuführen. EC2 ermöglicht Ihnen das problemlose Konfigurieren und Skalieren Ihrer Datenverarbeitungskapazität, um sich ändernden Anforderungen und Bedarfslagen zu entsprechen. Amazon EC2 ist in die bewährte Datenverarbeitungsumgebung von Amazon integriert, wodurch Sie die AWS-Suite der Services nutzen können.

    Preisgestaltung: Die Amazon EC2-Preise basieren auf vier Komponenten: auf dem ausgewählten Instance-Typ (EC2 wird mit mehr als 40 Instance-Typen und optimierten Optionen für Verarbeitung, Arbeitsspeicher, Massenspeicher und mehr bereitgestellt), auf der Region, in der sich Ihre Instances befinden, auf der von Ihnen ausgeführten Software und auf dem ausgewählten Preismodell (On-Demand-Instances, Reserved Capacity, Spot usw.). Weitere Informationen finden Sie unter Amazon EC2 – Preise.

    Kostenbeispiel: Nehmen Sie an, dass sich Ihre Protokolldateien auf einer einzelnen Linux-t2.nano-EC2-Instance in der Region USA Ost befinden. Mit einem On-Demand-Preismodell beträgt Ihre monatliche Gebühr für Ihre virtuelle Maschine 4,68 USD. Da für dieses Implementierungshandbuch angenommen wird, dass die Instance, die das Protokoll generiert, 1 Stunde lang ausgeführt wird, betragen Ihre EC2-Kosten schätzungsweise 0,0065 USD.

Erste Schritte mit dem Projekt