Welche Planungsschritte kann ich beim Upgrade meines Amazon-EMR-Clusters ergreifen?

Lesedauer: 6 Minute
0

Ich muss ein Amazon-EMR-Upgrade planen, um mit den sich schnell ändernden Technologien Schritt zu halten.

Kurzbeschreibung

Um mit den schnellen Veränderungen im Bereich Big Data Schritt zu halten, müssen Sie Ihre Version von Amazon EMR aktualisieren. Die Migration auf eine neue Version von Amazon EMR verbessert die betriebliche Exzellenz und Effizienz Ihres Workloads. Bevor Sie jedoch ein Upgrade von Amazon EMR durchführen, müssen Sie planen und sich darauf vorbereiten. Es gibt Informationen, die Sie überprüfen müssen, und Verfahren, die Sie befolgen müssen.

Vorteile von Amazon-EMR-Versionsupgrades

Zu den Vorteilen eines Upgrades von Amazon EMR gehören:

  • Höhere Produktivität und geringere Kosten durch die Nutzung der neuesten Funktionen.
  • Aktualisierte Anwendungen laufen schneller.
  • Aktuelle Bugfixes sorgen für eine stabile Infrastruktur.
  • Die neuesten Sicherheitspatches erhöhen die Sicherheit.
  • Aktueller Zugriff auf Open-Source-Softwarefunktionen.

Beispielsweise werden Log4j 1.x und Log4j 2.x mit Amazon EMR Version 6.6 und höher auf Log4j 1.2.17 bzw. Log4j 2.17.1 (oder höher) aktualisiert. In den höheren Versionen sind keine Bootstrap-Aktionen erforderlich, um Common Vulnerabilities and Exposures (CVEs) zu minimieren.

Lösung

Funktionen zur Leistungsoptimierung von Amazon EMR für Open-Source-Anwendungen

Amazon EMR bietet Funktionen zur Leistungsoptimierung für viele Open-Source-Anwendungen.

Spark:

Delta-Lake:

Flink:

Hadoop:

HBase:

HCatalog:

Hive:

Hudi:

Iceberg:

Presto und Trino:

Planen von Amazon-EMR-Versionsupgrades

Gehen Sie wie folgt vor, um sich auf ein Amazon-EMR-Versionsupgrade vorzubereiten:

  1. Informieren Sie sich über die Probleme, mit denen Sie in Ihrer aktuellen Amazon-EMR-Version konfrontiert sind.
  2. Isolieren Sie eine kleine Teilmenge von Anwendungen oder Abfragen, mit denen Sie die Leistung Ihres EMR-Clusters testen möchten.
  3. Richten Sie eine A/B-Teststrategie ein, um die Amazon-EMR-Version zu finden, die für Ihre Lösung am besten geeignet ist. Beim A/B-Test für Amazon EMR testen Sie zwei verschiedene Versionen des Dienstes, um zu vergleichen, wie sie in Ihrer Umgebung abschneiden.
  4. Migrieren Sie den Workload schrittweise auf die neue Version von Amazon EMR. Wenn Sie größere Probleme mit der Produktionsversion von Amazon EMR feststellen, können Sie den Migrationsprozess hier beenden.
  5. Beenden Sie nach Abschluss der Migration den alten Amazon-EMR-Cluster.

Beheben von Problemen im Zusammenhang mit Amazon-EMR-Versionsupgrades

Gehen Sie wie folgt vor, um Probleme zu beheben, die beim Upgrade Ihrer Amazon-EMR-Version auftreten:

  1. Konfigurieren Sie die Anwendung neu. Beobachten Sie, ob die Änderungen die Leistung Ihrer Anwendung verbessern.
  2. Prüfen Sie, ob Probleme durch eine neuere Version der Anwendung behoben wurden.
  3. Ändern Sie die Anwendung oder die Abfragen, um festzustellen, ob Sie Probleme vermeiden können.
  4. Überprüfen Sie offene Fehler und Behelfslösungen, um die Anwendung zu verbessern. Wenden Sie sich an den AWS Premium Support, um herauszufinden, ob es eine Problemumgehung gibt.
  5. Stoppen Sie die Amazon-EMR-Migration, bis das Problem behoben ist oder ein Workaround besteht.

Überlegungen zu Amazon-EMR-Versionsupgrades

Wenn Sie Ihre Version von Amazon EMR aktualisieren, kann eine Leistungsregression zu Problemen führen. Upgrades können die API ändern, was sich auf die Fähigkeit Ihres Codes auswirken kann, auf einer neueren Schnittstelle ausgeführt zu werden. Nach einem Upgrade der Amazon-EMR-Version können Langsamkeit und Ausfälle der Anwendung auftreten.

Wenn Sie darüber nachdenken, Ihre Version von Amazon EMR zu aktualisieren, empfiehlt es sich, den Abschnitt Was ist neu? Abschnitt des Release-Guides. Der Abschnitt Was ist neu? enthält Informationen zu den Releaseversionen und -daten von Amazon EMR sowie Lösungen für häufig auftretende Probleme mit Open-Source-Anwendungen.

Erforschen von Änderungen und offene Fragen von Open-Source-Anwendungen

Lesen Sie die folgenden Versionshinweise und offene Fehler, bevor Sie sich für eine Migration auf eine neue Amazon-EMR-Version entscheiden. Die folgende Liste von Anwendungen basiert auf Amazon-EMR-Version 6.9.

Hinweis: Diese Hyperlinks führen Sie zu den Anwendungswebsites von Drittanbietern, GitHub oder der Apache-Website.


AWS OFFICIAL
AWS OFFICIALAktualisiert vor einem Jahr