Veröffentlicht am: Nov 4, 2022
Wir freuen uns, heute die allgemeine Verfügbarkeit von Job-Vorlagen in Amazon EMR on EKS bekannt zu geben. Mit Job-Vorlagen kannst du Vorlagen für die Konfiguration der Parameter von Spark-Anwendungen erstellen und speichern. So kannst du einheitliche Einstellungen für alle Anwendungen sicherstellen, indem du Konfigurationsüberschreibungen in Datenpipelines wiederverwendest und durchsetzt.
EMR on EKS wendet Spark-Standardeinstellungen an, um die Leistung einer Anwendung zu optimieren, wenn Kunden zum Ausführen von Spark-basierten Anwendungen und Datenpipelines die StartJobRun-API verwenden. Mit Job-Vorlagen können Datentechniker jetzt wiederverwendbare Vorlagen definieren, um zusätzliche Anpassungen vorzunehmen, Executor- und Treiber-Computing-Kapazitäten zu konfigurieren, Sicherheits- und Governance-Eigenschaften wie IAM-Rollen festzulegen und benutzerdefinierte Docker-Images für die Verwendung in mehreren Anwendungen und Datenpipelines zu erstellen. Darüber hinaus können Kunden auch bestimmte Konfigurationswerte erzwingen und so verhindern, dass diese beim Aufruf der StartJobRun-API mit der Vorlage überschrieben werden. Job-Vorlagen können optional mit vom Kunden verwalteten Hauptschlüsseln verschlüsselt werden, die im AWS Key Management Service gespeichert sind.
Job-Vorlagen sind jetzt allgemein in allen AWS-Regionen verfügbar, in denen die EMR-on-EKS-Funktion veröffentlicht ist. Weitere Informationen zum Verwenden von Job-Vorlagen findest du in unserer Dokumentation.