Veröffentlicht am: Jun 13, 2023
Wir freuen uns, die Möglichkeit bekannt geben zu können, die Container-Protokollrotation bei der Ausführung von Apache-Spark-Jobs in EMR auf EKS zu steuern. Amazon EMR auf EKS ermöglicht Kunden die Ausführung von Open-Source-Big-Data-Frameworks wie Apache Spark auf Amazon EKS. Kunden können jetzt die Container-Protokollrotation aktivieren, um zu vermeiden, dass sich zu viele Protokolldateien auf die Pod-Ausführung auswirken.
Bei lang laufenden Spark-Jobs, wie z. B. Spark-Streaming, kann es zu Problemen mit geringem Festplattenspeicherplatz kommen, was zu Leistungseinbußen oder zum Scheitern des Jobs führen kann, und die Kunden sind möglicherweise gezwungen, Protokolle manuell aus Kubernetes-Pods zu löschen. Mit dieser Version können Kunden nun die Container-Protokollrotation aktivieren und festlegen, wie viele Protokolldateien in den Spark-Treiber-/Ausführungs-Pods gespeichert werden, einschließlich der Einstellung der maximalen Größe jeder Protokolldatei.
Weitere Informationen zur Container-Protokollrotation finden Sie im Abschnitt „Container-Protokollrotation“ in unserer Dokumentation. Die Container-Protokollrotation wird für Apache Spark in der EKS 6.11-Version und höher unterstützt und ist in Regionen verfügbar, in denen Amazon EMR auf EKS derzeit verfügbar ist.