Veröffentlicht am: Sep 26, 2023
Amazon EMR Serverless ist eine serverlose Option, mit der Datenanalysten und Techniker Open-Source-Frameworks für Big-Data-Analytik wie Apache Spark und Apache Hive ohne Konfiguration, Verwaltung und Skalierung von Clustern oder Servern ausführen können. Wir freuen uns, Ihnen mitteilen zu können, dass Sie ab heute Standardkonfigurationen auf der Anwendungsebene festlegen können. So können Sie konsistente Einstellungen für alle Spark- und Hive-Aufträge beibehalten, die unter derselben Anwendung eingereicht worden sind.
Mit diesem neuen Feature können Sie Standardeinstellungen für alle Aufträge innerhalb einer Anwendung zur Standardisierung des Auftragsverhaltens festlegen. Diese Einstellungen werden automatisch auf alle unter der Anwendung erstellten Aufträge angewandt, wobei jedoch weiterhin die Konfigurationen für bestimmte Auftragsdurchläufe flexibel angepasst werden können. Zu diesen Einstellungen gehören Arbeitsspeicher, Ausführungs-/Driver Cores, S3-Speicherort für Protokolle, Abrufen von Geheimnissen aus AWS Secrets Manager und vieles mehr. So können Sie beispielsweise einmalig in der Anwendungskonfiguration Anmeldeinformationen für externe Hive-Metaspeicher-Datenbanken zusammen mit den Geheimnissen angeben und diese Standardkonfigurationen werden auf alle unter dieser Anwendung ausgeführten Aufträge übertragen. Durch diesen zentralisierten Ansatz werden Konfigurationen berechenbarer und Aufträge reproduzierbarer.
Dieses Feature ist für EMR-Versionen 6.6.0 und höher in den Regionen verfügbar, in denen Amazon EMR Serverless verfügbar ist. Weitere Informationen finden Sie in der Dokumentation.