Cómo Liberar Datos de Mainframe con AWS y Attunity Replicate

Por Jordan Martz, Director of Technology Solutions en Attunity,
 Clive Bearman, Director of Product Marketing en Attunity,
y Phil de Valence, Solutions Architect for Mainframe Modernization en AWS

Se estima que el 80 por ciento de los datos corporativos del mundo residen o se originan en mainframes, de acuerdo con IBM.

Históricamente, los mainframes han alojado procesos, aplicaciones y datos críticos para el negocios, los cuales están bloqueados en estos rígidos y costosos sistemas de mainframe.

Amazon Web Services (AWS) y Attunity pueden liberar datos de mainframe en tiempo real, permitiendo a los clientes explotar todo su valor de negocio para data lakes, analítica, innovación o modernización. Attunity es un socio Advanced Technology de la red de socios de AWS (APN) con competencias de AWS tanto en migración como en Big Data.

En esta publicación, describimos cómo los clientes usan Attunity Replicate para transmisión de datos en tiempo real, para llevar los datos críticos de negocio del mainframe hacia servicios de AWS, para el análisis de datos y otros procesos de innovación.

Consulte Attunity Replicate en AWS Marketplace >>

Desafíos del cliente

Los mainframes han acumulado, durante décadas, en muchos casos, cantidades masivas de datos críticas para el negocios. Esto incluye datos sobre clientes, transacciones, cuentas, socios y más. Los datos en estos mainframes a menudo son sistemas de registro, pero el costo y la rigidez de un mainframe evitan que las organizaciones busquen ventaja competitiva e innovación basada en los datos.

Desde una perspectiva técnica, los clientes deben encontrar formas de acceder a los datos bloqueados en mainframes. Para lograr esto, hay tres posibles patrones de integración:

• Transferencia de Archivos por Lotes (Batch): los scripts programados o los trabajos del mainframe extraen información de bases de datos o datasets, escriben el resultado en formato de archivos planos, transfieren esos grandes archivos planos a través de la red a su destino, y se transforman en su estructura de datos destino, como un data lake. Este es un patrón que no es en tiempo real, los datos no son actuales y eso puede ser inviable para muchas aplicaciones.
• Consulta Directa a Base de Datos: las aplicaciones basadas en la nube se conectan directamente a la base de datos del mainframe remoto a través de la red para obtener los datos que necesitan. La alta latencia en la red puede afectar de manera negativa la experiencia general del usuario final. Las consultas a la base de datos también aumentan el consumo de millones de instrucciones por segundo (Millions of Instructions Per Second – MIPS) del mainframe.
• Transmisión de datos en tiempo real del mainframe: los datos se trasladan inmediatamente a la plataforma de destino, a la que se accede localmente de manera rápida y rentable. Requiere una planificación, integración y ejecución adecuadas para el movimiento de datos en tiempo real. Afortunadamente, Attunity Replicate proporciona estas capacidades.

Descripción General de Attunity Replicate

Attunity Replicate brinda integración de datos, de alta velocidad y en tiempo real a través de los principales data lakes, sistemas de streaming, bases de datos, bodegas de datos y sistemas mainframe. Todo se administra a través de una interfaz gráfica centralizada que brinda visibilidad global y control de la replicación de datos en entornos mainframe, distribuidos y ambientados en la nube.

Con una configuración simplificada y sin agentes (agent-less), Attunity Replicate permite la transferencia de datos de cargas masivas y actualizaciones de datos en tiempo real con Change Data Capture (CDC). Soporta la entrega transaccional mediante la replicación a bases de datos relacionales, la entrega optimizada por lotes para bodegas de datos, la entrega orientada a mensajes para plataformas de integración, y los registros de cambios para facilitar otras formas de integración.

Attunity Replicate se puede implementar en AWS o AWS GovCloud (EE. UU.) y está disponible en AWS Marketplace.

Figura 1 – Descripción general de la arquitectura Attunity Replicate

En el lado de las fuentes de datos de mainframe, Attunity Replicate extrae datos en tiempo real con CDC de archivos DB2 z/OS, IMS DB o VSAM. También es compatible con IBM DB2 de sistemas legados non-mainframe de rango medio para i (DB2/400; iSeries; AS/400). Los CDC funcionan escaneando registros de transacciones e identificando cambios en los datos. Para DB2 z/OS, utiliza una función definida por el usuario externo de DB2, sin agente, el cuál accede a la Interfaz de Instalación de Instrumentación (IFI). Para los archivos IMS DB y VSAM, utiliza la tarea de Attunity Integration Suite (AIS) z/OS con capacidades CDC o de carga masiva.

En el lado de los datos destino en AWS, Attunity Replicate soporta las ofertas del Servicio de base de datos relacional de Amazon (Amazon RDS), que incluyen Amazon Aurora, MariaDB, Microsoft SQL Server, MySQL, Oracle y PostgreSQL. Mueve datos a Amazon Simple Storage Service (Amazon S3), a Amazon Redshift, y crea automáticamente el esquema y las estructuras en Amazon EMR para actualizar continuamente los Operational Data Stores (ODS) y los Historical Data Stores  (HDS) sin programación manual.

Caso de Uso del cliente 1: Analíticos de Datos de mainframe

Los datos de mainframe, pueden incluir décadas de transacciones históricas de grandes cantidades de usuarios, son una gran ventaja de negocio. Por lo tanto, los clientes implementan procesos analíticos de big data para aprovechar el valor comercial de los datos del mainframe, y usan los servicios de Big Data de AWS para un análisis más rápido y para mezclar datos estructurados y no estructurados con la flexibilidad de crecer y escalar a medida que avanzan.

Figura 2 – Arquitectura de analíticos de datos de Mainframe

En la Figura 2, Attunity Replicate copia datos de mainframe en tiempo real desde almacenes de datos relacionales, jerárquicos o basado en archivos legados hacia data lakes, o bodegas/bases de datos en servicios de AWS. Para el almacenamiento de datos del lado de AWS, los clientes pueden elegir Amazon S3 para su data lake, Amazon Redshift para su bodega de datos u otros almacenes de datos como Amazon RDS o Aurora para bases de datos relacionales administradas.

AWS también ofrece opciones para el procesamiento y análisis de datos, como Amazon EMR (basado en Hadoop Framework), Amazon SageMaker (modelos de machine learning administrado) o Amazon Kinesis Data Analytics (análisis de streaming de datos administrada). Para la visualización e inteligencia de negocio, los clientes pueden usar Amazon QuickSight. La solución de Attunity Replicate y los servicios de AWS proporcionan una visión de negocio ágil que aprovecha los nuevos datos críticos de negocio del mainframe en tiempo real.

Caso de Uso del Cliente 2: Ampliación de capacidades Basado en Datos del Mainframe

Los clientes necesitan innovar para desarrollar su negocio. Ya sea que quieran crear nuevos canales de venta, mejorar la experiencia del cliente o llegar a nuevos mercados, deben extender sus programas de mainframe. Pero los ciclos de desarrollo de mainframe con lenguajes legados son lentos y rígidos. En consecuencia, los clientes usan AWS para crear rápidamente nuevos servicios mientras acceden a datos de mainframe en tiempo real en almacenes de datos locales de AWS. Los nuevos servicios ágiles de AWS amplían las capacidades de las aplicaciones de mainframe legadas.

Figura 3 – Arquitectura de ampliación de capacidades basada en datos del mainframe

En la Figura 3, Attunity Replicate copia mainframe en tiempo real hacia bases de datos relacionales administrados por AWS como Aurora o Amazon RDS. También se puede transmitir o procesar a través de Amazon Kinesis.

Los almacenes de datos locales de AWS son un requisito para evitar problemas de latencia y evitar el aumento del costoso consumo de MIPS del mainframe. Una vez que los datos del mainframe están en un almacén de datos de AWS, se crean rápidamente nuevos servicios ágiles en AWS. Por ejemplo, se puede agregar una nueva aplicación móvil o interfaz de voz utilizando Amazon API Gateway, Amazon Lex o Amazon Alexa Skills. La lógica empresarial puede residir en microservicios alojados por AWS Lambda o en contenedores dentro de Amazon Elastic Container Service (Amazon ECS). Los servicios innovadores también pueden beneficiarse de Amazon Machine Learning.

Debido a que los datos están duplicados, el arquitecto de datos debe tener cuidado con la consistencia e integridad de los datos a través del mainframe y los almacenes de datos en AWS. Puede hacerlo utilizando patrones de solo lectura y lectura-escritura, o mediante comprobaciones de consistencia y corrección.

Caso de Uso del Cliente 3: Reducción de Carga de Trabajo de Datos del Mainframe

Los mainframes son caros y cuestan varios miles de dólares por MIPS. Los clientes reducen los costos legados, al mismo tiempo que aumentan su agilidad al migrar o reducir cargas de trabajo del mainframe, cuidadosamente seleccionadas a AWS. Este caso de uso no se trata de migrar mainframes completos sino de ejecutar en paralelo un subconjunto de carga de trabajo cuidadosamente elegido en AWS, con Attunity Replicate facilitando la migración de datos.

Debido a la consistencia en la replicación de datos y las restricciones de latencia, algunas cargas de trabajo de datos de mainframe son adecuadas para desplegarse en AWS. Ya mencionamos las cargas de trabajo de análisis de datos, que se pueden extraer de los mainframes, y algunos trabajos por lote (batch) para creación de reportes, almacenamiento de datos o transmisión de archivos a terceros. Otro ejemplo son las funciones específicas o los tipos de acceso a datos, como las transacciones read-only. En este ejemplo, un cliente puede optar por mantener las transacciones read-write en el mainframe mientras delega las transacciones read-only a AWS.

En el lado de los datos, Attunity Replicate se encarga del movimiento de datos en tiempo real entre el mainframe y AWS. En el lado lógico de la aplicación para las funciones específicas, el comportamiento funcional se reproduce utilizando diferentes estrategias basadas en el número de líneas de código, marco de tiempo, stack de tecnología objetivo y costos.

Figura 4 – Arquitectura de reducción de carga de trabajo de datos de mainframe

En la Figura 4, Attunity Replicate copia los datos de X mainframe en tiempo real en los almacenes de datos de AWS adecuados que soportan las cargas de trabajo y funciones migradas del mainframe. Los datos relacionales de mainframe se ajustan fácilmente en Aurora. Los datos de archivos jerárquicos y legados de mainframe (como los indexados) se refactorizan a través de Attunity Replicate a los almacenes de datos de AWS. Para la lógica específica de funciones reducidas, AWS ofrece una selección de servicios de cómputo desde Amazon Elastic Compute Cloud (Amazon EC2) a servicios de contenedor como Amazon ECS o cómputo serverless con AWS Lambda.

Calidad de Servicio Empresarial

Los datos de mainframe son datos críticos de negocios que están sujetos a requisitos sólidos de calidad de servicio empresarial. Para la integridad y la consistencia de los datos, Attunity Replicate concilia automáticamente las operaciones de inserción, actualización y eliminación de datos, al tiempo que proporciona conformidad con ACID. También reconoce y responde a los cambios en la estructura de datos de origen (DDL) y aplica automáticamente los cambios a los data lakes.

Para la seguridad y el cifrado, Attunity Replicate utiliza las capacidades nativas (controladores) del proveedor de base de datos o AES 256 incorporado en Attunity. Para disponibilidad, admite entornos de clúster y puede escalar a miles de tareas con procesos en múltiples data centers y entornos de nube, incluidas las topologías de recuperación ante desastres. Para el rendimiento, utiliza compresión de datos, transferencias de datos concurrentes, protocolos de transferencia optimizados.

Attunity Replicate en AWS admite varias soluciones de clúster disponibles comercialmente para Linux y Microsoft Windows y Linux. Estos incluyen Windows Server 2008 o 2012 Cluster, Veritas Cluster Server y Red Hat Cluster. En un escenario activo-pasivo de alta disponibilidad, se recomienda instalar la carpeta de datos Attunity Replicate en un dispositivo de almacenamiento compartido como Amazon Elastic File System (Amazon EFS).

Figura 5 – Arquitectura de disponibilidad de Attunity Replicate

Ejemplo: DB2 z/OS a Amazon S3

La consola basada en web Attunity Replicate simplifica la configuración, control y monitoreo de las tareas de replicación en todas las fuentes y destinos sin necesidad de una comprensión profunda del entorno o requerimientos de programación.

Suponiendo que la configuración sin agente de DB2 z/OS se haya realizado previamente y que un bucket de Amazon S3 esté listo, mostraremos la configuración de un flujo de datos de DB2 z/OS a Amazon S3 en tres pasos con la consola sin ninguna programación.

• Paso 1: cree una conexión al mainframe como fuente de datos con el hostname o la dirección IP y el puerto TCP. Si ejecuta el servidor Attunity Replicate en una instancia de Amazon EC2, asegúrese de que el controlador ODBC de DB2 esté configurado y que el puerto esté abierto.

• Paso 2: cree una conexión con el almacén de datos destino, que es Amazon S3 en este ejemplo, ya que es el servicio de AWS más común para data lakes. Alternativamente, podríamos haber elegido otros servicios de AWS como Redshift, Amazon EMR o Amazon RDS.

• Paso 3: Seleccione las tablas de la base de datos del mainframe que desea replicar y cree una tarea. Esto define la relación entre el origen y el destino, y los datos que fluirán entre ellos. En este ejemplo, elegimos sincronizar las tablas CUSTOMER y REGION.

Estos tres pasos definen de dónde provienen los datos, qué datos sincronizar y hacia dónde van los datos. Como resultado, la consola muestra el flujo de datos creado.

Ahora verificaremos que un cambio de datos de mainframe se propague automáticamente a nuestros de bucket del data lake en Amazon S3. Para este fin, un usuario inicia una sesión de mainframe 3270, inicia sesión en z/OS, usa la herramienta de Query Management Facility (QMF), ejecuta una consulta SQL. La consulta SQL actualiza cierta información del cliente.

Con el flujo de datos Attunity Replicate, los datos que acaban de cambiar en la base de datos de mainframe DB2 z/OS se propagan automáticamente el data lake de AWS. No es necesario presionar ningún botón o iniciar un trabajo por lote. Los datos ahora aparecen en el bucket de Amazon S3 con dos archivos nuevos que representan los datos. El archivo CSV son los datos reales que cambiaron y el archivo DFM son los metadatos de transacción correspondientes.

Para completar, finalmente verificamos que la consola muestra los cambios de datos y la propagación de datos.

Attunity en AWS Marketplace

Las iniciativas estratégicas, como data lakes basados en la nube o la innovación del negocio principal, corren el riesgo de fallar a menos que contengan datos relevantes y precisos. Con tantos datos de negocio que residen en mainframes y sistemas legados, es crucial que esta información sea accesible y procesable en entornos de computación en la nube ágiles como AWS. Es importante la simplificación de la integración con datos de mainframe con cero programación, replicación en tiempo real y sin intervención manual.

El uso de Attunity Replicate y AWS es una forma eficiente de aprovechar los datos de mainframe para explotar su valor comercial. Puede probar Attunity Solutions para AWS fácilmente directamente desde AWS Marketplace. También puede leer más sobre Attunity Replicate con Attunity Solutions for AWS solution sheet.

El contenido y las opiniones en este blog son del autor externo y AWS no es responsable del contenido o la precisión de esta publicación

Attunity – APN Partner Spotlight

Attunity es un socio de competencia de AWS. Attunity Replicate utiliza la transmisión de datos en tiempo real para poner los datos críticos del negocio desde del mainframe a AWS que está listo para análisis de datos y servicios de innovación.

Contacto Attunity | Resumen de la práctica | Resumen de la solución | Éxito del cliente | Comprar en Marketplace

* ¿Ya trabajo con Attunity? Califica a este socio

* Para reseñar un socio de APN, debe ser un cliente de AWS que haya trabajado con ellos directamente en un proyecto.

Revisores técnicos – idioma local

João Aragão Pereira

FSI Solution Architect, Amazon Web Services

Javier Cristancho

Solutions Architect, Amazon Web Services