Bendigo reduce los costes de computación en un 60 % con instancias de spot de Amazon EC2 y Amazon EMR

El proveedor de servicios financieros Bendigo and Adelaide Bank (Bendigo) inició su camino de transformación digital en Amazon Web Services (AWS) para poder cumplir con los requisitos de banca abierta de Australia. En marzo de 2020, Bendigo migró rápidamente 30 cargas de trabajo no materiales a la nube basándose en Amazon Elastic Compute Cloud (Amazon EC2), que proporciona una capacidad de computación segura y redimensionable para prácticamente cualquier carga de trabajo.

Desde que completó su migración inicial a la nube, Bendigo se centró en optimizar sus arquitecturas para aumentar el ahorro de costes y mejorar el rendimiento y la disponibilidad de sus ofertas digitales. Para equilibrar el rendimiento con el ahorro de costes, Bendigo comenzó a ejecutar sus cargas de trabajo no relacionadas con la producción en instancias de spot de Amazon EC2, lo que permitió a los clientes aprovechar la capacidad de Amazon EC2 no utilizada en la nube. El banco también logró una mayor resiliencia y escalabilidad mediante la implementación de otras características de AWS para cargas de trabajo tolerantes a errores. Con esta nueva infraestructura, Bendigo ha reducido sus costes de computación en torno a un 60 %, ha aumentado la resiliencia de sus cargas de trabajo casi en un 30 % y ha mejorado el rendimiento de su sistema bancario en aproximadamente un 20 %.

La visión de Bendigo es convertirse en el banco preferido de Australia al proporcionar transparencia de datos y soluciones bancarias sencillas a sus 2,1 millones de clientes. El propósito del banco es contribuir a la prosperidad de sus clientes y comunidades, no nutrirse de ellos. Bendigo tiene más de 83 400 millones de USD en depósitos, presta servicios a más de 110 000 accionistas y emplea a más de 7000 personas en 317 sucursales.

En mayo de 2018, el Gobierno australiano aprobó la legislación sobre Derechos de Datos del Consumidor, que exigía a todas las principales instituciones financieras cumplir con las prácticas de banca abierta antes de julio de 2020. Esta legislación también implica que las instituciones financieras deben proporcionar a sus clientes acceso y control sobre sus datos personales. Ante estos cambios en el sector, Bendigo esperaba un aumento de la demanda de su infraestructura local. Para prepararse, el banco decidió llevar a cabo una transformación digital con AWS.

Bendigo eligió a AWS como proveedor de servicios en la nube debido a la madurez que estos tenían y, en marzo de 2020, inició su migración a la nube con AWS. El banco también empezó a ejecutar sus cargas de trabajo mediante Amazon EMR, una solución de macrodatos en la nube para ejecutar trabajos de procesamiento de datos distribuidos a gran escala, consultas SQL interactivas y aplicaciones de machine learning con marcos de análisis de código abierto. Para cumplir con los requisitos de banca abierta, la empresa configuró clústeres para mantener una alta disponibilidad en todos sus sistemas bancarios. Tras completar este proyecto, Bendigo decidió mejorar su arquitectura de nube y reducir los costes de computación mediante la ejecución de clústeres con flotas de instancias de Amazon EC2. «El ahorro de costes no era algo en lo que pensáramos inicialmente», afirma Adam Hobbs, development infrastructure engineer en Bendigo. «Pero nos dimos cuenta de que queríamos mejorar el rendimiento de nuestra arquitectura». En 2021, el equipo de Bendigo entró en la segunda fase de su proceso de transformación digital y comenzó a experimentar con nuevas soluciones y funciones para satisfacer las necesidades informáticas del banco.

Bendigo colaboró con el equipo de AWS para probar instancias de Amazon EC2 que mantuvieran una alta disponibilidad y, al mismo tiempo, optimizaran los costes de computación. Durante este tiempo, el equipo de Bendigo probó las instancias de spot de Amazon EC2, que ofrecen instancias de Amazon EC2 a un precio inferior en comparación con las instancias bajo demanda de Amazon EC2. Como los desarrolladores de Bendigo utilizan su entorno no relacionado con la producción para iterar las funciones de sus ofertas digitales, el banco identificó esta área como candidata para reducir los costes de computación. Ahora, el banco ejecuta todas sus cargas de trabajo no relacionadas con la producción en instancias de spot. «Las instancias de spot de Amazon EC2 han sido una forma eficaz de ahorrar en costes de computación y, al mismo tiempo, mantener una carga de trabajo elástica», afirma Leandro Silva, data lead for the open banking project de Bendigo. Al realizar estos cambios, Bendigo ha reducido sus costes de computación en aproximadamente un 60 %.

El banco también probó diferentes instancias de Amazon EC2 para ejecutar sus clústeres de Amazon EMR y encontró el mejor rendimiento con tipos de instancias de Amazon EC2 diversificados, que incluyen diferentes combinaciones de CPU, memoria, almacenamiento y capacidades de red. Al diversificar sus tipos de instancias, el banco ha reducido la probabilidad de interrupciones del servicio y tiempos de inactividad y ha hecho que sus cargas de trabajo sean más tolerantes a errores. «Pasamos por etapas de configuración de diferentes tipos de instancias», afirma Hobbs. «Colaboramos durante un tiempo con el equipo de AWS para identificar qué tipos de instancias tienen la mayor disponibilidad, lo que nos ha permitido disfrutar de una experiencia mucho mejor». Con este nuevo modelo, el banco ha mejorado la resiliencia de sus cargas de trabajo casi en tiempo real en aproximadamente un 30 %.

Los clústeres de Amazon EMR de Bendigo constan de diferentes tipos de nodos, que utilizan instancias de Amazon EC2 para planificar la capacidad del clúster. «Hemos estado configurando nodos principales», afirma Hobbs. «Pasamos de un clúster de 5 nodos a uno de 30». Para facilitar el escalamiento eficaz de los clústeres, el banco implementó nodos de tareas, que puede activar o desactivar verticalmente para aumentar la capacidad según sea necesario y ahorrar en costes de computación. Desde entonces, la empresa ha crecido hasta utilizar 60 nodos principales para su entorno de producción. Con varios nodos de tareas, los clústeres de Amazon EMR de Bendigo pueden utilizar otros nodos de tareas disponibles en caso de que alguno de ellos falle, lo que minimiza las interrupciones del servicio y el tiempo de inactividad. Al incrementar la elasticidad de su infraestructura, el banco ha aumentado el rendimiento de su sistema alrededor de un 20 % y, al mismo tiempo, ha reducido los costes de computación.

Bendigo también empezó a utilizar el Escalamiento administrado para Amazon EMR, que redimensiona automáticamente sus clústeres para lograr el mejor rendimiento al menor coste posible. Con el escalamiento administrado, la empresa puede administrar sus costes de computación de manera más eficaz al establecer límites mínimos y máximos para su capacidad de computación. «Obtenemos información más detallada sobre nuestras cargas de trabajo, lo que nos ayuda a supervisar el uso que hacemos de ellas y los costes reales», afirma Ash Austin, platforms practice lead de Bendigo. «Trabajar en la nube nos ayuda a mejorar nuestra gestión de riesgos y vulnerabilidades en un entorno altamente seguro, sólido y controlado», afirma Austin. «AWS ha resultado una ayuda excelente para que nuestra organización pudiese encontrar las herramientas adecuadas para este trabajo y navegar por el panorama regulatorio. Nos brinda la experiencia global que necesitamos para acelerar nuestro camino de transformación digital».