AWS Cloud
AWS Cloud
Erste Schritte mit AWS Data Pipeline

AWS Data Pipeline ist ein Web-Service zur Unterstützung des zuverlässigen Verarbeitens und Verschiebens von Daten zwischen AWS-Datenverarbeitungs- und -Speicherservices sowie lokalen Datenquellen in angegebenen Intervallen. Mit AWS Data Pipeline können Sie auf Ihre Daten (unabhängig von deren Speicherort) regelmäßig zugreifen, diese skalierbar transformieren und verarbeiten und Ergebnisse effizient in AWS-Services wie Amazon S3, Amazon RDS, Amazon DynamoDB und Amazon EMR übertragen.

Mithilfe von AWS Data Pipeline können Sie mühelos komplexe Datenverarbeitungslasten erstellen, die fehlertolerant, wiederholbar und hoch verfügbar sind. Sie müssen sich nicht um das Sicherstellen der Verfügbarkeit von Ressourcen kümmern, keine Abhängigkeiten zwischen Aufgaben verwalten, aufgrund von Fehlern oder Zeitüberschreitungen unterbrochene Aufgaben nicht wiederholen und kein Fehlerbenachrichtigungssystem entwickeln. AWS Data Pipeline ermöglicht außerdem das Verschieben und Verarbeiten von Daten, die zuvor in lokalen Datensilos isoliert waren.

Um Videos auf dieser Seite ansehen zu können, ist Adobe Flash Player oder ein anderer, moderner Browser ist erforderlich.

Coursera-reInvent-2


Zuverlässig

Zuverlässig

AWS Data Pipeline basiert auf einer verteilten, hoch verfügbaren Infrastruktur, die für die fehlertolerante Ausführung Ihrer Aktivitäten konzipiert ist. Wenn in Ihrer Aktivitätslogik oder Ihren Datenquellen Fehler auftreten, kann AWS Data Pipeline die Aktivität automatisch wiederholen lassen. Sollte der Fehler bestehen bleiben, sendet AWS Data Pipeline über Amazon Simple Notification Service (Amazon SNS) Fehlerbenachrichtigungen. Sie können Ihre Benachrichtigungen für erfolgreiche Ausführungen, Verzögerungen geplanter Aktivitäten oder Fehlschläge einrichten.

Benutzerfreundlich

Benutzerfreundlich

In unserer Konsole können Sie schnell und einfach per Ziehen und Ablegen eine Pipeline erstellen. Gängige Vorbedingungen sind in den Service integriert, weshalb Sie keine zusätzliche Logik für ihre Nutzung schreiben müssen. Sie können beispielsweise das Vorhandensein einer Amazon S3-Datei überprüfen, indem Sie den Namen des Amazon S3-Buckets und den Pfad der zu überprüfenden Datei angeben. Den Rest erledigt AWS Data Pipeline. Zusätzlich zur einfachen grafischen Pipeline-Erstellung bietet AWS Data Pipeline eine Bibliothek mit Pipeline-Vorlagen. Diese Vorlagen vereinfachen das Erstellen von Pipelines für eine Vielzahl komplexerer Anwendungsfälle, z. B. die regelmäßige Verarbeitung Ihrer Protokolldateien, die Archivierung von Daten in Amazon S3 oder die regelmäßige Ausführung von SQL-Abfragen.

Flexibel

Flexibel

AWS Data Pipeline ermöglicht das Nutzen einer Vielzahl von Funktionen wie Zeitplanung, Nachverfolgung von Abhängigkeiten und Fehlerbehandlung. Sie können mit Aktivitäten und Vorbedingungen arbeiten, die AWS bereitstellt und/oder eigene schreiben. Sie können also eine AWS Data Pipeline so konfigurieren, dass Aktionen ausgeführt werden, z. B. Amazon EMR-Aufträge, SQL-Abfragen direkt auf Datenbanken angewendet werden oder benutzerdefinierte Anwendungen in Amazon EC2 oder Ihrem eigenen Rechenzentrum ausgeführt werden. Auf diese Weise können Sie leistungsstarke benutzerdefinierte Pipelines zum Analysieren und Verarbeiten Ihrer Daten erstellen, ohne sich mit den Komplexitäten zuverlässiger Zeitplanung und Ausführung Ihrer Anwendungslogik beschäftigen zu müssen

Skalierbar

Skalierbar

AWS Data Pipeline erleichtert das Senden von Verarbeitungsaufgaben an einen oder zahlreiche Computer, entweder seriell oder parallel. Mithilfe des flexiblen Designs von AWS Data Pipeline ist die Verarbeitung einer Million Dateien so einfach wie das Verarbeiten einer Datei.

 

Geringe Kosten

Geringe Kosten

AWS Data Pipeline ist kostengünstig und wird mit einer niedrigen Monatsgebühr in Rechnung gestellt. Testen Sie die Lösung mit dem kostenlosen Nutzungskontingent von AWS. Weitere Informationen.

Transparent

Transparent

Sie haben die volle Kontrolle über die Datenverarbeitungsressourcen zur Ausführung Ihrer Geschäftslogik, wodurch das Optimieren oder Debuggen Ihrer Logik vereinfacht wird. Darüber hinaus werden umfassende Ausführungsprotokolle automatisch an Amazon S3 übermittelt, wodurch Sie eine dauerhafte, detaillierte Aufzeichnung der Abläufe in Ihrer Pipeline erhalten.

Erste Schritte