Serverless-Speicher auf Amazon EMR Serverless unterstützt jetzt Shuffle im Terabyte-Bereich
Amazon EMR Serverless bietet jetzt erweiterte Serverless-Speicherfunktionen mit Unterstützung für Shuffle-Operationen von bis zu 1 TB, wodurch das bisherige Limit von 200 GB pro Job angehoben wurde. Amazon EMR Serverless erleichtert es Data Engineers und Datenwissenschaftlern, Open-Source-Big-Data-Analytik-Frameworks auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen. Diese Erweiterung ermöglicht es Unternehmenskunden, Apache Spark-Workloads im Produktionsmaßstab auszuführen, bei denen große Mengen an Shuffle-Daten bei komplexen Vorgängen wie Verknüpfungen, Aggregationen und Sortierungen verarbeitet werden müssen.
Datenteams in Unternehmen können jetzt problemlos Produktions-Workloads migrieren, die routinemäßig Datensätze im Terabyte-Bereich verarbeiten, ohne sich Gedanken über Speicherbeschränkungen machen zu müssen. Diese Erweiterung ist besonders nützlich für Workloads mit großen Tabellenverknüpfungen über mehrere Terabyte große Datensätze und komplexe Aggregationen von Daten mit hoher Kardinalität, die eine umfangreiche Datenmischung erfordern. Die zusätzliche Spillunterstützung stellt sicher, dass Jobs speicherintensive Operationen problemlos verarbeiten können, indem Daten bei Bedarf auf die Festplatte ausgelagert werden, wodurch die Zuverlässigkeit und die Erfolgsquote bei anspruchsvollen analytischen Workloads verbessert werden.
Diese Funktion ist mit Amazon emr-7.14, emr-spark-8.1 und höher in 18 AWS-Regionen verfügbar, in denen Amazon EMR Serverless verfügbar ist. Die vollständige Liste der unterstützten Regionen und ihrer geltenden Grenzwerte finden Sie in der Amazon EMR-Dokumentation.
Weitere Informationen zu Amazon EMR Serverless und erste Schritte mit der Shuffle-Unterstützung im Terabyte-Bereich finden Sie auf der Amazon EMR Serverless-Seite.