Veröffentlicht am: Jun 25, 2020
Amazon EMR bietet jetzt eine „kapazitätsoptimierte“ Zuweisungsstrategie zur Bereitstellung von Spot-Instances in einem Amazon EMR-Cluster an. Die „kapazitätsbedingte“ Zuweisungsstrategie setzt die verfügbare freie Kapazität automatisch möglichst effizient ein und nutzt gleichzeitig die von Spot-Instances gewährten hohen Rabatte. Durch die Möglichkeit von weniger Unterbrechungen kann die kapazitätsoptimierte Strategie die Gesamtkosten Ihrer Arbeitslast reduzieren.
Die kapazitätsoptimierte Zuweisungsstrategie nutzt Kapazitätsdaten in Echtzeit, um Instances aus den Spot-Instance-Pools mit der optimalen Kapazität für die Anzahl der gestartete Instances zuzuweisen. Diese Zuweisungsstrategie eignet sich für Arbeitslasten, die höhere Kosten bei Störungen aufweisen. Beispiele hierfür sind Jobs mit langer Laufzeit und persistente Multi-Tenant-Cluster mit Apache Spark, Apache Hive und Presto.
Mit der Zuweisungsstrategie-Option können Sie bei der Erstellung Ihres Clusters mit Instance-Fleet-Konfiguration auch bis zu fünf EC2-Instance-Typen pro Aufgabenknoten angeben. Auf diese Weise können Sie Ihre Spotanfragen diversifizieren und so hohe Rabatte erzielen.
Amazon EMR verfügt über eine Anzahl von Verbesserungen, um die Elastizität und Widerstandsfähigkeit für Kunden zu verbessern, einschließlich der würdevollen Stilllegung von Amazon EC2 Spot-Instances, die Apache Spark- und Apache Hadoop-Anwendungen auf Amazon EMR-Clustern ausführen. Um Datenverluste zu verhindern, stellt die Amazon EMR-Skalierung sicher, dass auf Ihrem Knoten keine Apache Hadoop-Aufgaben oder spezifischen Daten laufen, die vor dem Entfernen Ihres Knotens verloren gehen könnten. Amazon EMR hat an Open-Source Spark Anpassungen vorgenommen, die es widerstandsfähiger gegen Knotenverluste machen – Integration mit dem Abschaltmechanismus von YARN, Erweiterung des Abschaltmechanismus von Spark und Aktionen auf stillgelegten Knoten.
Bitte lesen Sie die Dokumentation, um zu erfahren, wie Instance Fleets konfiguriert und wie eine Service-Rolle für Amazon EMR (EMR Role) sowie die API-Spezifikationen erstellt werden.
Die Unterstützung der Zuweisungsstrategie durch Amazon EMR ist jetzt generell ab EMR-Release-Version 5.12.1 und höher in allen kommerziellen AWS-Regionen verfügbar, in denen Amazon EMR verfügbar ist. Hier ist ein Link zur allgemeinen regionalen Verfügbarkeit von Amazon EMR.