Bendigo reduziert die Datenverarbeitungskosten mithilfe von Amazon EC2 Spot Instances und Amazon EMR um 60 %

Der Finanzdienstleister Bendigo and Adelaide Bank (Bendigo) begannen ihre digitale Transformation zu Amazon Web Services (AWS), um die australischen Open-Banking-Vorgaben zu erfüllen. Im März 2020 migrierte Bendigo schnell 30 immaterielle Workloads in die Cloud, unterstützt durch Amazon Elastic Compute Cloud (Amazon EC2), das sichere und anpassbare Datenverarbeitungskapazität für praktisch jeden Workload bietet.

Nach dem Abschluss der ersten Cloud-Migration konzentrierte sich Bendigo auf die Optimierung seiner Architekturen, um die Kosteneinsparungen zu erhöhen und die Leistung und Verfügbarkeit seiner digitalen Angebote zu verbessern. Um ein Gleichgewicht zwischen Leistung und Kosteneinsparungen zu finden, begann Bendigo, seine nicht produktiven Workloads auf Amazon EC2 Spot Instances auszuführen, sodass Kunden ungenutzte Amazon-EC2-Kapazitäten in der Cloud nutzen konnten. Die Bank erreichte außerdem eine höhere Stabilität und Skalierbarkeit, indem sie weitere AWS-Funktionen für fehlertolerante Workloads implementierte. Mit dieser neuen Infrastruktur hat Bendigo seine Datenverarbeitungskosten um rund 60 Prozent gesenkt, die Resilienz seiner Workloads um fast 30 Prozent erhöht und die Leistung seines Banksystems um rund 20 Prozent verbessert.

Bendigos Vision ist es, Australiens bevorzugte Bank zu werden, indem seinen 2,1 Millionen Kunden Datentransparenz und einfache Banklösungen geboten werden. Ziel der Bank ist es, zum Wohlstand ihrer Kunden und Gemeinden beizutragen und nicht diesen zu mindern. Bendigo hält über 83,4 Milliarden Dollar an Einlagen, betreut über 110 000 Aktionäre und beschäftigt über 7 000 Mitarbeiter in 317 Filialen.

Im Mai 2018 verabschiedete die australische Regierung die Gesetzgebung zum Verbraucherdatenrecht, nach der alle großen Finanzinstitute bis Juli 2020 die Open-Banking-Praktiken einhalten müssen. Diese Gesetzgebung bedeutete auch, dass Finanzinstitute ihren Kunden Zugriff auf und Kontrolle über ihre persönlichen Daten gewähren mussten. Angesichts dieser Veränderungen in der Branche rechnete Bendigo mit einem Anstieg der Nachfrage auf seine On-Premises-Infrastruktur. Zur Vorbereitung entschied sich die Bank für eine digitale Transformation mithilfe von AWS.

Bendigo entschied sich aufgrund der Reife der Services für AWS als Cloud-Serviceanbieter und begann im März 2020 mit Unterstützung von AWS mit der Cloud-Migration. Amazon EMR ist eine Cloud-Big-Data-Plattform, die verwendet wird, um groß angelegte verteilte Datenverarbeitungsaufträge, interaktive SQL-Abfragen und Anwendungen für Machine Learning mit Open-Source-Analytics-Frameworks wie Apache Spark, Apache Hive und Presto auszuführen. Um die Open-Banking-Anforderungen zu erfüllen, konfigurierte das Unternehmen Cluster, die ihm helfen sollten, eine hohe Verfügbarkeit seiner Banksysteme aufrechtzuerhalten. Nach Abschluss dieses Projekts wollte Bendigo seine Cloud-Architektur verbessern und die Datenverarbeitungskosten senken, indem der Bankdienstleister seine Cluster mithilfe von Amazon-EC2-Instance-Flotten betrieb. „Wir haben anfangs nicht an Kosteneinsparungen gedacht“, sagt Adam Hobbs, Development Infrastructure Engineer bei Bendigo. „Aber wir haben erkannt, dass wir die Leistung unserer Architektur verbessern wollten.“ Im Jahr 2021 trat das Bendigo-Team in die zweite Phase seiner digitalen Transformation ein und begann, mit neuen Lösungen und Funktionen zu experimentieren, um den Datenverarbeitungsanforderungen der Bank gerecht zu werden.

Bendigo arbeitete mit dem AWS-Team zusammen, um Amazon-EC2-Instances zu testen, die eine hohe Verfügbarkeit aufrechterhalten und gleichzeitig die Datenverarbeitungskosten optimieren würden. Während dieser Zeit testete das Bendigo-Team Amazon EC2 Spot Instances, die Amazon-EC2-Instances im Vergleich zu Amazon-EC2-On-Demand-Instances zu einem niedrigeren Preis bereitstellen. Da die Entwickler von Bendigo die produktionsfremde Umgebung nutzen, um Funktionen für ihre digitalen Angebote zu wiederholen, identifizierte die Bank dies als einen Bereich, in dem sie die Datenverarbeitungskosten senken könnte. Jetzt führt die Bank ihre Workloads, die nicht zur Produktion gehören, ausschließlich auf Spot-Instances aus. „Amazon EC2 Spot Instances waren für uns eine effektive Möglichkeit, Datenverarbeitungskosten zu sparen und gleichzeitig einen flexiblen Workload aufrechtzuerhalten“, sagt Leandro Silva, Data Lead für das Open-Banking-Projekt bei Bendigo. Durch diese Änderungen hat Bendigo seine Datenverarbeitungskosten um rund 60 Prozent gesenkt.

Die Bank testete auch verschiedene Amazon-EC2-Instances für die Ausführung ihrer Amazon-EMR-Cluster und stellte die beste Leistung fest, als sie verschiedene Amazon-EC2-Instance-Typen verwendete, die unterschiedliche Kombinationen von CPU-, Arbeitsspeicher-, Speicher- und Netzwerkkapazitäten beinhalteten. Durch die Diversifizierung ihrer Instance-Typen hat die Bank die Wahrscheinlichkeit von Serviceunterbrechungen und Ausfallzeiten verringert und ihre Workloads fehlertoleranter gemacht. „Wir haben Phasen der Konfiguration verschiedener Instance-Typen durchlaufen“, sagt Hobbs. „Wir haben einige Zeit mit dem AWS-Team verbracht, um herauszufinden, welche Instance-Typen die höchste Verfügbarkeit aufweisen, was zu einem viel besseren Erlebnis geführt hat.“ Im Rahmen dieses neuen Modells hat die Bank die Stabilität ihrer nahezu in Echtzeit ablaufenden Workloads um rund 30 Prozent verbessert.

Die Amazon-EMR-Cluster von Bendigo bestehen aus verschiedenen Knotentypen, die Amazon-EC2-Instances für die Cluster-Kapazitätsplanung verwenden. „Wir haben Kernknoten eingerichtet“, sagt Hobbs. „Wir sind von einem Cluster mit 5 Knoten zu einem Cluster mit 30 Knoten übergegangen.“ Um eine effektive Clusterskalierung zu ermöglichen, implementierte die Bank Aufgabenknoten, die sie hochfahren oder herunterfahren kann, um die Kapazität nach Bedarf zu erhöhen und Datenverarbeitungskosten zu sparen. Seitdem ist die Produktionsumgebung des Unternehmens auf 60 Core-Knoten angewachsen. Mit mehreren Aufgabenknoten können die Amazon-EMR-Cluster von Bendigo andere verfügbare Aufgabenknoten verwenden, falls einer ausfällt, wodurch Serviceunterbrechungen und Ausfallzeiten minimiert werden. Durch die Erhöhung der Elastizität ihrer Infrastruktur hat die Bank die Leistung ihres Systems um rund 20 Prozent erhöht und gleichzeitig die Datenverarbeitungskosten gesenkt.

Bendigo begann auch, Managed Scaling für Amazon EMR zu verwenden, das die Größe seiner Cluster automatisch anpasst, um die beste Leistung zu den geringstmöglichen Kosten zu erzielen. Mithilfe von Managed Scaling kann das Unternehmen seine Datenverarbeitungskosten effektiver verwalten, indem es Mindest- und Höchstgrenzen für seine Datenverarbeitungskapazität festlegt. „Wir erhalten detaillierte Einblicke in unsere Workloads, was uns hilft, unsere Nutzung und die tatsächlichen Kosten zu überwachen“, sagt Ash Austin, Platform Practice Lead bei Bendigo. „Die Arbeit an der Cloud hilft uns, unser Risiko- und Schwachstellenmanagement in einer hochsicheren, robusten und kontrollierten Umgebung zu verbessern“, sagt Austin. „AWS hat unserer Organisation hervorragend dabei geholfen, die richtigen Tools für die jeweilige Aufgabe zu finden und sich im regulatorischen Umfeld zurechtzufinden. AWS bietet uns die globale Expertise, die wir benötigen, um unsere digitale Transformation zu beschleunigen.“