Captura de dados modificados com base em SAP ODP com o conector SAP OData do Amazon App

Por Krishnakumar Ramadoss, Specialist SA, SAP Innovation na AWS;
Rozal Singh, Sr US-NE SAP Specialist SA na AWS;
Manoj Muthukrishnan, Principle SAP SA na AWS;
Ram Borhade, Sr. SA SAP on AWS, GVSA na AWS;
Rajendra Narikimelli, Sr. SA SAP na AWS;
Damian Maldonado, Sr. Specialist SA na AWS;
Ganesh Suryanarayanan, Sr Partner SA na AWS e
Lino Maggi, Solution Architect Manager na AWS

Introdução

Mais de 5.000 clientes executam suas cargas de trabalho SAP na AWS. Além da economia de custos, os clientes obtêm benefícios significativos com a profundidade e a amplitude dos serviços da AWS. Dezenas de milhares de data lakes já estão implantados na AWS. Os clientes se beneficiam do armazenamento de seus dados no Amazon S3 e da análise desses dados com o mais amplo conjunto de serviços de análise e aprendizado de máquina para aumentar seu ritmo de inovação. A AWS oferece o portfólio mais amplo e abrangente de serviços nativos de ingestão e transferência de dados, bem como mais integrações de ecossistemas de parceiros com o S3.

Desde que lançamos o conector SAP OData do Amazon AppFlow em 2021, a solicitação mais comum dos clientes foi a capacidade de extrair dados em incrementos (deltas) usando os recursos integrados de captura de dados alterados (CDC) oferecidos pelo SAP Tecnologia de estrutura de provisionamento de dados operacionais (ODP).

Com base no feedback dos clientes, anunciamos hoje o lançamento de um novo recurso do Amazon AppFlow, que oferece suporte a transferências de dados de aplicativos SAP para serviços da AWS, usando a estrutura SAP ODP com apenas alguns cliques e aproveitando os recursos de captura dados modificados. Com esta versão, os clientes podem usar o conector SAP OData do Amazon AppFlow para realizar transferências de dados incrementais completas (delta), incluindo SAP Operational Delta Queue (ODQ) de aplicativos SAP ERP/BW, como SAP ECC, SAP BW, S/4 HANA e BW./4 HANA.

Amazon AppFlow

O Amazon AppFlow é um serviço de integração de dados totalmente gerenciado que ajuda os clientes a criar fluxos de dados para transferir dados com segurança entre serviços da AWS, aplicativos SaaS e aplicativos SAP ERP. Esses fluxos de dados ajudam a acelerar a criação de data marts e data lakes na AWS para fins analíticos ou para combinar dados de vários sistemas de origem.

Neste blog, explicaremos como você pode configurar um fluxo de dados do Amazon AppFlow para extrair dados usando o recurso recém-lançado do conector SAP OData, para se conectar a provedores ODP expostos como serviços OData em seu sistema SAP que serão a fonte dos dados.

Arquitetura de alto nível de extração baseada em ODP com fluxos de dados do Amazon AppFlow

transferências de dados baseadas em ODP, o contexto de negócios é preservado. Manter o contexto de negócios das fontes de dados SAP reduz os esforços para mapear a lógica de negócios para integrar dados a objetos de negócios de outras fontes de dados SAP e não SAP.

A estrutura ODP funciona em modelos de “provedor” e “assinante” para permitir transferências de dados entre sistemas SAP e de sistemas SAP para destinos de dados não SAP. O Amazon AppFlow usa essa estrutura ODP para oferecer suporte à extração completa de dados e à captura de alterações de dados por meio do mecanismo Operational Delta Queues (ODQ).

Provedor ODP – Os dados fornecidos pelo sistema SAP de origem são chamados de provedor ODP. A seguir está uma lista de vários provedores ODP suportados pela estrutura ODP.

SAP DataSources (código de transação RSO2)
Serviços de dados principais da SAP exibições CDS ABAP
Sistemas SAP BW ou SAP BW/4HANA: InfoObject, objeto DataStore
Replicação em tempo real das tabelas e exibições do banco de dados do sistema de origem SAP por meio do SAP Landscape Replication Server
Exibições de informações do SAP HANA em fontes baseadas no SAP ABAP

ODQ (Operational Delta Queue) — No caso de extrações completas ou delta, o provedor ODP grava os dados do sistema de origem como pacotes de dados em um ODQ usando um processo de atualização.

Consumidores ODP/Assinantes ODQ – Os aplicativos de destino que recuperam dados da fila delta e continuam a processá-los são chamados de “assinantes ODQ” ou, mais geralmente, “consumidores ODP”. Nesse caso, o Amazon AppFlow desempenha o papel de consumidor ou assinante.

Os provedores de ODP, por sua vez, podem atuar como uma fonte de dados para os serviços OData, permitindo integrações baseadas em REST com consumidores externos, como o Amazon AppFlow. O documento Extração de dados baseada em ODP via OData detalha essa abordagem de como os clientes podem gerar um serviço para que os consumidores extraiam dados ODP por meio do OData.

Nos fluxos de dados do Amazon AppFlow, os clientes podem usar o conector SAP OData para se conectar a provedores ODP expostos como serviços OData. O conector suporta extração completa, o que permitiria aos clientes extrair dados de microlote do ODQ.

Além disso, o conector suporta transferências de dados incrementais, que usam os recursos integrados do CDC fornecidos pela estrutura ODP, permitindo que os clientes obtenham perfeitamente dados modificados na origem, usando um token delta com a operação de alteração, por exemplo, Inserted/Deleted/ Atualizado. O suporte para o recurso CDC integrado permitiria aos clientes extrair perfeitamente dados do fornecedor de fontes ODP compatíveis em microlotes usando os tokens delta intrínsecos fornecidos pela estrutura ODP, tornando as transferências de dados mais ideais.

Principais benefícios do uso da extração de dados baseada em ODP com o Amazon AppFlow

O Amazon AppFlow é um serviço totalmente gerenciado que permite aos clientes criar fluxos de dados com apenas alguns cliques. É um serviço low-code, sem código.
Como a extração de dados funciona na camada de aplicativos SAP, o contexto de negócios dos dados é preservado.
Ele se integra perfeitamente à estrutura SAP ODP/OData bem estabelecida para minimizar os esforços de preparação ou configuração.
As APIs do Amazon AppFlow podem ser usadas para integrar-se perfeitamente a outros aplicativos.

Pré-requisitos para criar um fluxo OData com base no ODP

Você deve atender aos seguintes requisitos para configurar um fluxo de dados OData no AppFlow que se conectaria aos provedores ODP.

Seu provedor de fonte de dados deve estar habilitado para ODP.
Para gerar um serviço OData baseado em fontes de dados ODP, o SAP Gateway Foundation deve ser instalado localmente em sua pilha ERP/BW ou em uma configuração de hub remoto. Para seus aplicativos ERP/BW, como SAP ECC, SAP BW, S/4 HANA e BW/4 HANA, a pilha SAP NetWeaver AS ABAP deve estar em 7,50 SP00. O NetWeaver AS ABAP do sistema de hub (SAP Gateway) deve ser 7,50 SP00 ou superior para a configuração do hub remoto. Quando os aplicativos SAP ERP ou SAP BW estão sendo executados em uma versão anterior do NetWeaver inferior a 7,50 SP00, o cenário do hub remoto é recomendado.
Você deve criar um serviço OData a partir da fonte SAP ODP e registrá-lo para consumo em seu serviço de gateway. Consulte a documentação do SAP para obter mais detalhes sobre como gerar e registrar um serviço OData para um provedor ODP. Além disso, você pode consultar nosso workshop, onde mostramos a configuração dos serviços baseados em OData.em fontes de dados ODP.
O conector SAP OData do Amazon AppFlow é compatível apenas com conexões seguras; portanto, você deve habilitar uma configuração segura para se conectar via HTTPS. Nota: O Amazon AppFlow oferece suporte à conectividade privada usando um AWS PrivateLink para transferências seguras de dados. Consulte o blog Amazon AppFlow with AWS PrivateLink aqui para obter mais informações sobre como configurar um fluxo privado para o conector SAP OData.
Você deve implementar o SAP Note 1931427 se estiver executando seu aplicativo ERP/BW em uma versão anterior do NetWeaver, como 7.40 SP04 ou anterior. É recomendável implementar as seguintes notas SAP em seu gateway local ou em um sistema de hub: 2854759 , 2878969, 3062232, 3023446, 2888122.

Criação de um Amazon AppFlow Dataflow usando o serviço OData baseado no SAP ODP

Use o provedor ODP identificado e seu serviço OData gerado, e o serviço é registrado localmente ou com um sistema SAP Gateway no hub remoto. [Consulte a seção de pré-requisitos].

Crie uma conexão SAP OData na tela inicial do Amazon AppFlow. Estenda a barra lateral e selecione Conexões. Em seguida, escolha SAP OData no menu suspenso do conector. Selecione a guia “Criar conexão” e forneça as informações necessárias. Consulte as instruções de configuração para obter mais detalhes sobre os valores de entrada.

Em seguida, selecione Fluxos na barra lateral e “Criar fluxo”

Configure o fluxo e conecte-se à origem escolhendo a conexão SAP
Descubra os serviços SAP OData, incluindo serviços OData baseados em ODP
Selecione a entidade de serviço SAP
Definir o gatilho de fluxo (sob demanda ou programado)
Atribuir campos, definir validações e definir filtros
Execute o fluxo

Mais detalhes sobre como criar um fluxo podem ser encontrados na documentação do conector SAP OData do Amazon AppFlow.

Fluxo programado versus fluxo sob demanda no contexto de serviços OData baseados em SAP ODP

Fluxo programado

O Amazon AppFlow iniciará uma transferência completa de dados escolhendo essa opção, e as execuções subsequentes com a frequência definida executarão transferências incrementais usando o mecanismo SAP ODQ. Para fluxos incrementais, o Amazon AppFlow usa os tokens delta fornecidos pela estrutura ODP para as seguintes transferências de dados delta

Nota: A execução inicial também restabelecerá as assinaturas anteriores da Fila Delta para essa entidade. Certifique-se de que não haja fluxos agendados ativos para a mesma fonte de dados ODP.

O Amazon AppFlow detecta automaticamente serviços OData que expõem fontes de dados baseadas em ODP e cria uma assinatura (dados iniciais com Delta Init) para ODQ durante a execução inicial do fluxo. Você também pode monitorar as assinaturas ODQ no sistema do provedor SAP por meio da transação ODQMON após uma execução bem-sucedida do fluxo.

Fluxo sob demanda:

A execução de um fluxo On Demand usando um serviço OData habilitado para ODP não criará uma assinatura de fila delta no ODQ a partir do sistema provedor SAP de origem; em vez disso, os dados são recuperados em sua totalidade.

Depois de executar com êxito o fluxo On Demand, verifique o código de transação ODQMON no sistema de origem do provedor SAP. Você não verá assinaturas ativas para fluxos sob demanda

Pontos a considerar

O encerramento da assinatura ODQ não ocorre automaticamente quando você exclui o fluxo do OData com base no SAP ODP no Amazon AppFlow. Essa assinatura excedente deve ser gerenciada no sistema do provedor SAP. Use o código de transação ODQMON para gerenciar assinaturas e encerrá-las se elas não forem mais necessárias. Você pode agendar trabalhos de reorganização no sistema do provedor SAP para limpar a fila.

Resumo

O conector SAP OData do Amazon AppFlow é um serviço gerenciado sem servidor que extrai dados SAP diretamente para o Amazon S3 por meio do OData. Esse recurso abre caminho para a integração de dados SAP em serviços da AWS nativos da nuvem. Esta versão aprimora ainda mais o conector SAP OData do Amazon AppFlow para usar a estrutura SAP ODP. Esse recurso simplifica a extração de dados de várias fontes de dados SAP ERP/BW, incluindo dados transacionais, dados mestres e dados de apresentação, com recursos integrados de captura de dados modificados.

Para começar, visite a página do Amazon AppFlow. Para saber por que a AWS é a plataforma de escolha e inovação para mais de 5.000 clientes ativos da SAP, visite a página SAP na AWS.

Este artigo foi traduzido do Blog da AWS em Inglês.