Überspringen zum Hauptinhalt

Amazon EMR

Amazon EMR Serverless

Big-Data-Anwendungen mit Open-Source-Frameworks ohne Verwaltung von Clustern und Servern ausführen

Warum EMR Serverless?

Amazon EMR Serverless ist eine Serverless-Option in Amazon EMR, die es Datenanalytikern und Engineers erleichtert, open-source Big-Data-Analytik-Frameworks auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen. Sie erhalten alle Funktionen und Vorteile von Amazon EMR, ohne dass Experten für die Planung und Verwaltung von Clustern erforderlich sind.

Vorteile

Wählen Sie das Open-Source-Framework aus, das Sie für Ihre Anwendung ausführen möchten, z. B. Apache Spark und Apache Hive, und EMR Serverless stellt automatisch die zugrunde liegenden Rechen- und Speicherressourcen bereit und verwaltet sie.

Führen Sie Analytik-Workloads in jeder Größenordnung mit der automatischen On-Demand-Skalierung aus, bei der die Größe von Ressourcen innerhalb von Sekunden an wechselnde Datenmengen und Verarbeitungsanforderungen angepasst wird.

EMR Serverless skaliert Ressourcen automatisch nach oben und unten, um genau die richtige Menge an Kapazität für Ihre Anwendung bereitzustellen. Sie zahlen nur für das, was Sie tatsächlich nutzen, und Sie können Bedenken hinsichtlich einer übermäßigen oder nicht ausreichenden Bereitstellung minimieren.

Mit dem Upgrade-Agenten von Apache Spark werden monatelange Apache-Spark-Upgrades durch intelligente Automatisierung zu effizienten einwöchigen Projekten. Der Upgrade-Agent von Spark optimiert Unternehmensmigrationen, indem er komplexe API-Änderungen in Ihrer gesamten Codebasis automatisch verarbeitet und so Kosten und Aufwand erheblich reduziert.

Amazon EMR Serverless macht die Bereitstellung lokaler Speicher für Apache-Spark-Workloads überflüssig, senkt die Datenverarbeitungskosten um bis zu 20 % und verhindert Auftragsausfälle aufgrund von Beschränkungen der Festplattenkapazität. EMR Serverless führt automatisch Zwischenoperationen wie Shuffle durch, ohne dass Speichergebühren anfallen – Sie zahlen lediglich für Rechen- und Speicherressourcen.

Funktionsweise

1

Anwendung erstellen

Wählen Sie das Open-Source-Framework und die Version, die Sie verwenden möchten.

2

Aufträge einreichen

Übermitteln Sie Aufträge an Ihre Anwendung über APIs oder EMR Studio. Sie können Aufträge auch mithilfe von Workflow-Orchestrierungsservices wie Apache Airflow oder Amazon Managed Workflows for Apache Airflow einreichen.

3

Aufträge debuggen

Verwenden Sie vertraute Open-Source-Tools wie Spark UI und Tez UI, um Aufträge zu überwachen und zu debuggen.

Anwendungsfälle

Wenn sich die Workload-Anforderungen ändern, skalieren Sie die Anwendungsressourcen nahtlos, ohne vorab konfigurieren zu müssen, wie viel Rechenleistung und Arbeitsspeicher Sie benötigen.

Wählen Sie die Option, um Anwendungsressourcen vorab zu initialisieren und die Reaktionszeit in Sekunden für SLA-sensible-Daten-Pipelines zu aktivieren.

Richten Sie schnell und einfach eine Entwicklungs- und Testumgebung ein, skalieren Sie automatisch bei unvorhersehbarer Nutzung und bringen Sie Produkte schneller auf den Markt.