Captura de datos modificados basada en SAP ODP con el conector Amazon AppFlow SAP OData

Por Krishnakumar Ramadoss, Specialist SA, SAP Innovation en AWS;
Rozal Singh, Sr US-NE SAP Specialist SA en AWS;
Manoj Muthukrishnan, Principle SAP SA en AWS;
Ram Borhade, Sr. SA SAP on AWS, GVSA en AWS;
Rajendra Narikimelli, Sr. SA SAP en AWS;
Damian Maldonado, Sr. Specialist SA en AWS;
Ganesh Suryanarayanan, Sr Partner SA en AWS y
Lino Maggi, Solution Architect Manager en AWS

Introducción

Más de 5000 clientes ejecutan sus cargas de trabajo de SAP en AWS. Además de ahorrar costos, los clientes obtienen importantes beneficios de la profundidad y amplitud de los servicios de AWS. Decenas de miles de lagos de datos (data lakes) ya están implementados en AWS. Los clientes se benefician del almacenamiento de sus datos en Amazon S3 y del análisis de esos datos con el conjunto más amplio de servicios de análisis y machine learning para aumentar su ritmo de innovación. AWS ofrece el portafolio más amplio y completo de servicios nativos de ingesta y transferencia de datos, además de más integraciones de ecosistemas de socios con S3.

Desde que lanzamos el Amazon AppFlow SAP OData connector en 2021, la solicitud más común de los clientes fue tener la capacidad de extraer datos en incrementales (deltas) utilizando las capacidades integradas de captura de los datos modificados o en ingles Change Data Capture (CDC) que ofrece la tecnología SAPOperational Data Provisioning (ODP) framework.

Basándonos en la retroalimentación de los clientes, hoy anunciamos el lanzamiento de una nueva característica de Amazon AppFlow, la cual admite transferencias de datos desde aplicaciones SAP a servicios de AWS, esto utilizando el framework ODP de SAP con solo unos pocos clics y aprovechando las capacidades de captura de datos modificados. Con este lanzamiento, los clientes pueden usar el conector Amazon AppFlow SAP OData para realizar transferencias de datos completas e incrementales (deltas) sin problemas, incluyendo SAP Operational Delta Queue (ODQ) desde aplicaciones SAP ERP/BW como SAP ECC, SAP BW, S/4 HANA y BW. /4 HANA.

Amazon AppFlow

Amazon AppFlow es un servicio de integración de datos totalmente administrado que ayuda a los clientes a crear flujos de datos para transferir datos de forma segura entre servicios de AWS, aplicaciones SaaS y aplicaciones ERP de SAP. Estos flujos de datos ayudan a acelerar la creación de data marts y lagos de datos (data lakes) en AWS con fines analíticos o para combinar los datos de varios sistemas fuentes.

En este blog, explicaremos cómo puede configurar un flujo de datos de Amazon AppFlow para extraer datos utilizando la característica recientemente lanzada del conector SAP OData , para así conectarse a proveedores ODP que están expuestos como servicios OData en su sistema SAP que será la fuente de los datos

Arquitectura de alto nivel de la extracción basada en ODP con flujos de datos de Amazon AppFlow

datos basadas en ODP, se conserva el contexto de negocio. Mantener el contexto de negocio de las fuentes de datos de SAP reduce los esfuerzos de mapeo de la lógica de negocios para integrar datos con objetos de negocios de otras fuentes de datos de SAP y non- SAP.

El framework ODP funciona en modelos de «proveedor» y «subscriptor» para permitir transferencias de datos entre sistemas SAP y de sistemas SAP a destinos de datos que no son de SAP. Amazon AppFlow utiliza este framework ODP para admitir la extracción de datos completos y la captura de cambios de datos a través del mecanismo de colas delta operativas o en ingles Operational Delta Queues (ODQ).

ODP Provider – Los datos proporcionados por el sistema SAP de origen se denominan ODP provider. A continuación, se muestra una lista de varios proveedores de ODP admitidos por el framework ODP.

SAP DataSources (código de transacción RSO2)
SAP Core Data Services Vistas CDS ABAP
Sistemas SAP BW o SAP BW/4HANA: InfoObject, DataStore Object
Replicación en tiempo real de tablas y vistas de base de datos del sistema de origen de SAP a través SAP Landscape Replication Server (SAP SLT)
SAP HANA Information Views en fuentes basadas en SAP ABAP

ODQ (Operational Delta Queue) – En el caso de extracciones completas o delta, el proveedor ODP escribe los datos del sistema de origen como paquetes de datos en un ODQ mediante un proceso de actualización.

ODP Consumers/ODQ Subscribers – Las aplicaciones de destino que recuperan los datos de la cola delta y continúan procesándolos se denominan «suscriptores ODQ» o, de forma más general, «consumidores ODP». En este caso, Amazon AppFlow desempeña el papel de consumidor o suscriptor.

Los proveedores de ODP, a su vez, pueden actuar como una fuente de datos para los servicios de OData, lo que permite integraciones basadas en REST con consumidores externos como Amazon AppFlow. El documento ODP-Based Data Extraction via OData detalla este enfoque sobre cómo los clientes pueden generar un servicio para que los consumidores extraigan datos ODP a través de OData.

En los flujos de datos de Amazon AppFlow, los clientes pueden usar el conector SAP OData para conectarse a proveedores ODP que están expuestos como servicios OData. El conector admite la extracción completa, lo que permitiría a los clientes extraer datos en microlotes del ODQ.

Además, el conector admite transferencias de datos incrementales, las cuales utilizan las capacidades de CDC integradas y proporcionadas por el framework ODP, lo que permite a los clientes obtener sin problemas los datos modificados en la fuente, utilizando un token delta con la operación de cambio, por ejemplo, Insertado/Eliminado/ Actualizado. El soporte para la función CDC integrada permitiría a los clientes extraer sin problemas los datos de los proveedores de fuentes ODP compatibles en micro lotes utilizando los tokens delta intrínsecos proporcionados por el framework ODP, lo que hace que las transferencias de datos sean más óptimas.

Beneficios clave de utilizar la extracción de datos basada en ODP con Amazon AppFlow

Amazon AppFlow es un servicio completamente administrado que permite a los clientes crear flujos de datos con solo unos pocos clics. Es un servicio low-code, no-code.
Dado que la extracción de datos funciona en la capa de aplicación de SAP, se conserva el contexto de negocio de los datos.
Se integra a la perfección en el framework bien establecido de SAP ODP/OData para minimizar los esfuerzos de preparación o configuración.
Las API de Amazon AppFlow se pueden utilizar para integrarse con otras aplicaciones sin inconvenientes.

Requisitos previos para crear un flujo de OData basado en ODP

Debe cumplir con los siguientes requisitos para configurar un flujo de datos OData en AppFlow que se conectaría a los proveedores ODP.

El proveedor de su fuente de datos debe estar habilitado para ODP.
Para generar un servicio OData basado en fuentes de datos ODP, el SAP Gateway Foundation debe instalarse localmente en su stack ERP/BW o en una configuración de hub remoto. Para sus aplicaciones ERP/BW como SAP ECC, SAP BW, S/4 HANA y BW/4 HANA, el stack SAP NetWeaver AS ABAP debe estar en 7.50 SP00. El NetWeaver AS ABAP del sistema hub (SAP Gateway) debe ser 7.50 SP00 o superior para la configuración en hub remoto. Cuando las aplicaciones SAP ERP o SAP BW se ejecutan en una versión anterior de NetWeaver inferior a 7.50 SP00, se recomienda el escenario hub remoto.
Debe crear un servicio OData desde el origen de SAP ODP y registrarlo para su consumo en su servicio puerta de enlace (Gateway).. Consulte la documentación de SAP para obtener más detalles sobre cómo generar y registrar un servicio OData para un proveedor ODP. Además, puede consultar nuestro workshop donde mostramos la configuración de los servicios OData basados en fuentes de datos ODP.
El conector Amazon AppFlow SAP OData solo admite conexiones seguras; por lo tanto, debe habilitar una configuración segura para conectarse a través de HTTPS. Nota: Amazon AppFlow admite conectividad privada mediante un AWS PrivateLink para transferencias de datos seguras. Consulte el blog de Amazon AppFlow con AWS PrivateLink aquí para obtener más información sobre cómo configurar un flujo privado para el conector SAP OData.
Debe implementar la nota de SAP 1931427 si está ejecutando su aplicación ERP/BW en una versión anterior de NetWeaver, como 7.40 SP04 o anterior. Se recomienda implementar las siguientes notas de SAP en su puerta de enlace local o en un sistema concentrador: 2854759 , 2878969, 3062232, 3023446, 2888122.

Creación de un flujo de datos de Amazon AppFlow utilizando el servicio OData basado en SAP ODP

Utilice el proveedor ODP identificado y su servicio OData generado, y el servicio se registra localmente o en un sistema SAP Gateway del hub remoto. [Consulte la sección de requisitos previos].

Cree una conexión SAP OData desde la pantalla inicial de Amazon AppFlow. Extienda la barra lateral y seleccione Connections. Luego, elija SAP OData en el menú desplegable de connectors. Seleccione la pestaña » Create Connection » y proporcione la información requerida. Consulte las instrucciones de configuración para obtener más detalles sobre los valores de entrada.

Luego, seleccione Flows de la barra lateral y “Create flow”

Configure el flujo y conéctese a la fuente eligiendo la conexión SAP
Descubra los servicios OData de SAP, incluidos los servicios OData basados en ODP
Seleccione la entidad de servicio SAP
Definir el Flow trigger (On Demand o programado)
Asignar campos, definir validaciones y establecer filtros
Ejecute el flujo

Puede encontrar más detalles sobre cómo crear un flujo en la documentación de Amazon AppFlow SAP OData Connector.

Flujo Programado vs flujo On Demand en el contexto de los servicios OData basados en SAP ODP

Flujo programado

Amazon AppFlow iniciará una transferencia de datos completa eligiendo esta opción, y las ejecuciones posteriores con la frecuencia definida ejecutarán transferencias incrementales mediante el mecanismo SAP ODQ. Para los flujos incrementales, Amazon AppFlow utiliza los tokens delta proporcionados por el framework ODP para las siguientes transferencias de datos delta

Nota: La ejecución inicial también restablecerá las anteriores suscripciones de la cola delta de esta entidad. Asegúrese de que no existan flujos programados activos para la misma fuente de datos ODP.

Amazon AppFlow detecta automáticamente los servicios OData que exponen orígenes de datos basados en ODP y crea una suscripción (datos iniciales con Delta Init) a ODQ durante la ejecución del flujo inicial. También puede monitorear las suscripciones ODQ en el sistema SAP provider a través de la transacción ODQMON después de una ejecución exitosa del flujo.

Flujo a demanda:

La ejecución de un flujo a demanda o en ingles On Demand mediante un servicio OData habilitado para ODP no creará una suscripción de cola delta en ODQ del sistema de origen SAP provider; en su lugar, los datos se recuperan en su totalidad.

Después de ejecutar correctamente el flujo de On Demand, compruebe el código de transacción ODQMON en el sistema de origen SAP provider. No verá suscripciones activas para los flujos de OnDemand

Cosas para considerar

La finalización de la suscripción de ODQ no ocurre automáticamente cuando elimina el flujo de OData basado en SAP ODP en Amazon AppFlow. Esta suscripción sobrante debe gestionarse en el sistema SAP provider. Use el código de transacción ODQMON para administrar las suscripciones y finalizarlas si ya no son necesarias. Puede programar trabajos de reorganización en el sistema SAP provider para limpiar la cola.

Resumen

El conector SAP OData de Amazon AppFlow es un servicio serverless gestionado que extrae datos SAP directamente en Amazon S3 a través de OData. Esta capacidad allana el camino para integrar los datos de SAP en los servicios de AWS nativos de la nube. Este lanzamiento mejora aún más el conector Amazon AppFlow SAP OData para utilizar el framework SAP ODP. Esta característica simplifica la extracción de datos de múltiples fuentes de datos SAP ERP/BW, incluidos los datos transaccionales, los datos maestros y los datos de presentación, con capacidades integradas de Captura de datos modificados.

Para empezar, visite la página de Amazon AppFlow. Para saber por qué AWS es la plataforma de elección e innovación para más de 5000 clientes activos de SAP, visite la página de SAP on AWS.