Como Liberar dados do mainframe com a AWS e o Attunity Replicate

Por Jordan Martz, Diretor de Soluções Tecnológicas da Attunity,
 Clive Bearman, Diretor de Marketing de Produtos da Attunity,
e Phil de Valence, arquiteto de soluções para modernização de mainframe na AWS

Estima-se que 80% dos dados corporativos do mundo residam ou se originam de mainframes, de acordo com a IBM.

Historicamente, os mainframes hospedaram processos, aplicativos e dados críticos para os negócios que estão bloqueados nesses sistemas de mainframe rígidos e caros.

A Amazon Web Services (AWS) e a Attunity podem liberar dados de mainframe em tempo real, permitindo que os clientes explorem seu valor total de negócios para data lakes, análises, inovação ou modernização. A Attunity é uma Parceira de Tecnologia Avançada da Rede de Parceiros da AWS (APN) com competências da AWS em migração e Big Data.

Nesta publicação, descrevemos como os clientes usam o Attunity Replicate para transmissão de dados em tempo real, para trazer dados críticos de negócios do mainframe  aos serviços da AWS, para análise de dados e outros processos de inovação.

Consulte Attunity Replicate no AWS Marketplace >>

Desafios do cliente

Os mainframes acumularam, durante décadas, em muitos casos, quantidades massivas de dados essenciais aos negócios. Isso inclui dados sobre clientes, transações, contas, parceiros e muito mais. Os dados nesses mainframes geralmente são sistemas de registro em log, mas o custo e a rigidez de um mainframe impedem que as organizações busquem vantagem competitiva e inovação orientada por dados.

Do ponto de vista técnico, os clientes precisam encontrar maneiras de acessar dados bloqueados em mainframes. Para conseguir isso, existem três padrões de integração possíveis:

• Transferência de arquivos batch — Os scripts agendados ou trabalhos de mainframe extraem informações de bancos de dados ou conjuntos de dados, gravam o resultado em formato de arquivo simples, transferem esses grandes arquivos simples pela rede para seu destino e se transformam em sua estrutura de dados de destino, como um Data Lake. Este é um padrão que não está em tempo real, os dados não são atuais e que podem ser impraticáveis para muitas aplicações.
• Consulta direta de banco de dados: aplicativos baseados em nuvem se conectam diretamente ao banco de dados remoto do mainframe pela rede para obter os dados de que precisam. A alta latência na rede pode afetar negativamente a experiência geral do usuário final. As consultas de banco de dados também aumentam o consumo de milhões de instruções por segundo (MIPS) do mainframe.
• Transmissão de dados do mainframe em tempo real — os dados são movidos imediatamente para a plataforma de destino, que é acessada localmente de forma rápida e econômica. Ele requer planejamento, integração e execução adequados para movimentação de dados em tempo real. Felizmente, o Attunity Replicate fornece esses recursos.

Visão Geral da Replicação do Attunity

O Attunity Replicate oferece integração de dados em tempo real e de alta velocidade nos principais data lakes, sistemas de streaming, bancos de dados, data warehouses e sistemas de mainframe. Tudo é gerenciado por meio de uma interface gráfica centralizada que fornece visibilidade global e controle da replicação de dados em ambientes de mainframe, distribuídos e baseados em nuvem.

Com uma configuração simplificada e sem agente, o Attunity Replicate permite a transferência de dados de cargas em massa e atualizações de dados em tempo real com o Change Data Capture (CDC). Suporta entrega transacional por meio da replicação para bancos de dados relacionais, entrega batch otimizada para data warehouses, entrega orientada a mensagens para plataformas de integração e logs de alteração para facilitar outras formas de integração.

O Attunity Replicate pode ser implantado na AWS, e está disponível no AWS Marketplace. 

Figura 1 — Visão geral da arquitetura de replicação do Attunity

No lado da origem de dados do mainframe, o Attunity Replicate extrai dados em tempo real com CDC de arquivos DB2 z/OS, IMS DB ou VSAM. Ele também suporta IBM DB2 i de sistemas mid-range legados não-mainframe (DB2/400; iSeries; AS/400). O CDC funciona digitalizando logs de transações e identificando alterações de dados. Para DB2 z/OS, ele usa uma função definida pelo usuário externo sem agente do DB2, que acessa a Instrumentation Facility Interface (IFI). Para IMS DB e arquivos VSAM, use a tarefa Attunity Integration Suite (AIS) z/OS com CDC ou recursos de carregamento em massa.

No lado dos dados de destino na AWS, o Attunity Replicate oferece suporte às ofertas do Amazon Relational Database Service ( Amazon RDS), incluindo Amazon Aurora, MariaDB, Microsoft SQL Server, MySQL, Oracle e PostgreSQL. Move dados para o Amazon Simple Storage Service (Amazon S3), o Amazon Redshift, e cria automaticamente esquema e estruturas no Amazon EMR para atualizar continuamente os Operational Data Stores (ODS) e Historical Data Store (HDS) sem programação manual.

Caso de uso do cliente 1: Análise de dados de mainframe

Dados de mainframe, podem incluir décadas de transações históricas de grande número de usuários, é uma grande vantagem comercial. Portanto, os clientes implementam processos de análise de big data para aproveitar o valor comercial dos dados de mainframe e usam os serviços do AWS Big Data  para análise mais rápida e combinar dados estruturados e não estruturados com a flexibilidade para crescer e escalar à medida que eles se movem dinamicamente.

Figura 2 — Arquitetura de análise de dados de mainframe

Na Figura 2, o Attunity Replicate copia dados de mainframe em tempo real de armazenamentos de dados relacionais, hierárquicos ou baseados em arquivos que são legados para data lakes ou armazenamentos/bancos de dados nos serviços da AWS. Para armazenamento de dados no lado da AWS, os clientes podem escolher o Amazon S3 para seu data lake, o Amazon Redshift para seu data warehouse ou outros armazenamentos de dados, como Amazon RDS ou Aurora, para bancos de dados relacionais gerenciados.

A AWS também oferece opções para processamento e análise de dados, como Amazon EMR (baseado no Hadoop Framework), Amazon SagMaker (modelos gerenciados de aprendizado de máquina) ou Amazon Kinesis Data Analytics (dados análise de streaming gerenciada). Para visualização e business intelligence, os clientes podem usar o Amazon QuickSight. A solução Attunity Replicate e os serviços da AWS oferecem uma visão de negócios ágil que aproveita novos dados críticos de negócios do mainframe em tempo real.

Caso de uso do cliente 2: Incremento de novas funcionalidades baseadas nos dados do mainframe

Os clientes precisam inovar para desenvolver seus negócios. Quer eles queiram criar novos canais de vendas, melhorar a experiência do cliente ou alcançar novos mercados, eles precisam estender seus programas que executam no mainframe. Mas os ciclos de desenvolvimento do mainframe com linguagens legadas são lentos e rígidos. Como resultado, os clientes usam a AWS para criar rapidamente novos serviços, ao mesmo tempo que acessam dados de mainframe em tempo real em armazenamentos de dados locais da AWS. Os novos serviços ágeis da AWS ampliam os recursos dos aplicativos de mainframe legados.

Figura 3 — Arquitetura de dimensionamento de capacidade baseada em dados do mainframe

Na Figura 3, o Attunity Replicate copia dados do mainframe em tempo real para bancos de dados relacionais gerenciados pela AWS, como Aurora ou Amazon RDS. Ele também pode ser transmitido ou processado via Amazon Kinesis.

Os armazenamentos de dados locais da AWS são um requisito para evitar problemas de latência e evitar o aumento do consumo dispendioso de MIPS de mainframe. Quando os dados do mainframe estiverem em um armazenamento de dados da AWS, novos serviços ágeis são criados rapidamente na AWS. Por exemplo, você pode adicionar um novo aplicativo móvel ou interface de voz usando o Amazon API Gateway, o Amazon Lex ou o Amazon Alexa Skills. A lógica de negócios pode residir em microsserviços hospedados pelo AWS Lambda ou em contêineres no Amazon Elastic Container Service (Amazon ECS). Serviços inovadores também podem se beneficiar do Amazon SageMaker.

Como os dados são duplicados, o arquiteto de dados deve ter cuidado com a consistência e a integridade dos dados por meio do mainframe e dos armazenamentos de dados na AWS. Você pode fazer isso usando padrões somente leitura e leitura-gravação, ou usando verificações de consistência e correção.

Caso de uso do cliente 3: Reduzindo a carga de trabalho de dados do mainframe

Os mainframes são caros e custam vários milhares de dólares por MIPS. Os clientes reduzem os custos legados enquanto aumentam sua agilidade migrando ou reduzindo cargas de trabalho do mainframe cuidadosamente selecionadas para a AWS. Este caso de uso não se trata de migrar mainframes completos, mas de executar um subconjunto de carga de trabalho cuidadosamente escolhido em paralelo na AWS, com o Attunity Replicate facilitando a migração de dados.

Devido à consistência da replicação de dados e restrições de latência, algumas cargas de trabalho de dados de mainframe são adequadas para implantação na AWS. Já mencionamos cargas de trabalho de análise de dados, que podem ser extraídas de mainframes, e alguns processos batch para relatórios, armazenamento de dados ou transmissão de arquivos para terceiros. Outro exemplo são as funções específicas ou tipos de acesso a dados, como transações somente leitura. Neste exemplo, um cliente pode optar por manter transações de leitura-gravação no mainframe enquanto delega transações somente leitura para a AWS.

No lado dos dados, o Attunity Replicate lida com a movimentação de dados em tempo real entre o mainframe e a AWS. No lado lógico do aplicativo para funções específicas, o comportamento funcional é reproduzido usando diferentes estratégias com base no número de linhas de código, período de tempo, stack de tecnologia de destino e custos.

Figura 4 — Arquitetura de redução da carga de trabalho de dados de mainframe

Na Figura 4, o Attunity Replicate copia os dados do mainframe X em tempo real para os armazenamentos de dados apropriados da AWS que oferecem suporte a cargas de trabalho e funções de mainframe migrados. Os dados relacionais do mainframe são facilmente ajustados no Aurora. Os dados legados e hierárquicos de mainframe (como indexados) são refatorados por meio do Attunity Replicate to AWS datastores. Para lógica específica de recursos, a AWS oferece uma ampla seleção de serviços de computação do Amazon Elastic Compute Cloud (Amazon EC2) para serviços de contêiner, como Amazon ECS ou computação serverless com o AWS Lambda.

Qualidade do Serviço Empresarial

Os dados de mainframe são dados essenciais aos negócios que estão sujeitos a requisitos sólidos de qualidade de serviço corporativa. Para integridade e consistência dos dados, o Attunity Replicate reconcilia automaticamente as operações de inserção, atualização e exclusão de dados, fornecendo conformidade com ACID (atomicidade, consistência, isolamento, durabilidade). Ele também reconhece e responde a alterações na estrutura de dados de origem (DDL) e aplica automaticamente as alterações aos data lakes.

Para segurança e criptografia, o Attunity Replicate usa os recursos nativos (drivers) do provedor de banco de dados ou o AES 256 incorporado ao Attunity. Para disponibilidade, ele oferece suporte a ambientes de cluster e pode ser dimensionado para milhares de tarefas com processos em vários data centers e ambientes de nuvem, incluindo topologias de recuperação de desastres. Para desempenho, ele usa compactação de dados, transferências de dados simultâneas, protocolos de transferência otimizados.

O Attunity Replicate executando na AWS oferece suporte a várias soluções de cluster disponíveis comercialmente para Linux e Microsoft Windows e Linux. Estes incluem Cluster do Windows Server 2012, Veritas Cluster Server e Red Hat Cluster. Em um cenário ativo-passivo altamente disponível, é recomendável instalar a pasta de dados do Attunity Replicate em um dispositivo de armazenamento compartilhado, como o Amazon Elastic File System (Amazon EFS).

Figura 5 — Arquitetura de disponibilidade de replicação do Attunity

Exemplo: DB2 z/OS para Amazon S3

O console baseado na web do Attunity Replicate simplifica a configuração, o controle e o monitoramento de tarefas de replicação em todas as origens e destinos sem a necessidade de uma compreensão profunda do ambiente ou dos requisitos de programação.

Supondo que a configuração sem agente do DB2 z/OS tenha sido pré-configurada e um bucket do Amazon S3 esteja pronto, exibiremos a configuração de um DB2 z/OS para o fluxo de dados do Amazon S3 em três etapas com o console sem qualquer programação.

• Etapa 1: Crie uma conexão com o mainframe como uma fonte de dados usando o nome do host ou endereço IP e a porta TCP. Se você estiver executando o servidor Attunity Replicate em uma instância do Amazon EC2, verifique se o driver ODBC DB2 está configurado e a porta está aberta.

• Etapa 2: Crie uma conexão com o armazenamento de dados de destino, que é o Amazon S3 neste exemplo, pois é o serviço mais comum da AWS para data lakes. Como alternativa, podemos ter escolhido outros serviços da AWS, como Redshift, Amazon EMR ou Amazon RDS.
• Etapa 3: Selecione as tabelas de banco de dados de mainframe que você deseja replicar e crie uma tarefa. Isso define a relação entre origem e destino, e os dados que fluirão entre eles. Neste exemplo, optamos por sincronizar as tabelas CUSTOMER e REGION.

Essas três etapas definem de onde os dados vêm, quais dados devem ser sincronizados e para onde os dados vão. Como resultado, o console exibe o fluxo de dados criado.

Agora vamos verificar se uma alteração de dados do mainframe é propagada automaticamente para nossos buckets de data lake no Amazon S3. Para esse fim, um usuário inicia uma sessão de mainframe 3270, efetua login no z/OS, usa a ferramenta QMF (Query Management Facility) e executa uma consulta SQL. A consulta SQL atualiza determinadas informações do cliente.

Com o fluxo de dados do Attunity Replicate, os dados que acabaram de ser alterados no banco de dados de mainframe DB2 z/OS são automaticamente propagados para o data lake da AWS. Você não precisa pressionar nenhum botão ou iniciar um processo batch. Os dados agora aparecem no bucket do Amazon S3 com dois novos arquivos representando os dados. O arquivo CSV contém os dados reais que foram alterados e o arquivo DFM contém os metadados de transação correspondentes.

Para concluir, finalmente verificamos que o console mostra alterações de dados e propagação de dados.

Attunity no AWS Marketplace

Iniciativas estratégicas, como data lakes baseados em nuvem ou inovação de negócios principais, falhas de risco, a menos que contenham dados relevantes e precisos. Com tantos dados de negócios residindo em mainframes e sistemas legados, é crucial que essas informações sejam acessíveis e acionáveis em ambientes ágeis de computação em nuvem, como a AWS. Simplificar a integração com dados de mainframe com programação zero, replicação em tempo real e nenhuma intervenção manual é importante.

O uso do Attunity Replicate e da AWS é uma maneira eficiente de aproveitar os dados de mainframe para explorar seu valor comercial. Você pode testar facilmente as Soluções Attunity para AWS diretamente do AWS Marketplace. Você também pode ler mais sobre a folha de soluções do Attunity Replicate with Attunity Solutions for AWS.

O conteúdo e as opiniões deste blog são do autor externo e a AWS não é responsável pelo conteúdo ou precisão deste post

Attunity — Destaque de parceiros da APN

A Attunity é um parceiro de competência da AWS. O Attunity Replicate usa a transmissão de dados em tempo real para colocar dados essenciais aos negócios do mainframe para a AWS prontos para análise de dados e serviços de inovação.

Entre em contato com a Attunity  | Resumo da prática | Resumo da solução | Sucesso do cliente | Comprar no Marketplace 

* Já está trabalhando com a Attunity? Classifique este parceiro

* Para analisar um parceiro da APN, você deve ser um cliente da AWS que trabalhou com ele diretamente em um projeto.

Revisores técnicos — idioma local

João Paulo Aragão Pereira

Arquiteto de soluções especialista na Indústria de Serviços Financeiros em LATAM, Amazon Web Services, trabalha com temas como modernização de sistemas legados como mainframe, detecção de fraude e vida em sistemas de pagamentos.

Erico Penna
Arquiteto de soluções para Parceiros em LATAM, Amazon Web Services, especialista em migrações, apaixonado por compartilhar conhecimentos e experiências, atuando como facilitador de migrações e modernização de aplicações para nuvem.