[SEO 副标题]
本指南为帮助客户构建数据和分析解决方案提供了基本的数据基础。它展示了如何使用 AWS 服务、SAP 产品和 AWS 合作伙伴解决方案,以实时或批处理模式整合来自 SAP ERP 源系统和 AWS 的数据,并捕获变更数据。本指南包括概述参考架构,展示了如何将 SAP 系统摄取到 AWS,并介绍了五种详细架构模式,这些模式使用 AWS 服务、SAP 产品和 AWS 合作伙伴解决方案补充了 SAP 支持的机制(如 OData、ODP、SLT 和 BTP)。
请注意:[免责声明]
架构图
架构模式概述
此架构图显示将 SAP 系统摄取到 AWS 的模式选项。对于详细的架构模式,请打开其他选项卡。
步骤 1
在 SAP RISE、SAP HANA Cloud、AWS 或本地系统上托管的 SAP 数据可以以实时或批处理、完整或增量模式从 SAP NetWeaver 系统中提取,如 SAP ERP Central ECC、SAP S/4HANA 或 SAP BW。
也可以借助以下选项使用 SAP HANA 数据库提取:
A.AWS Managed Services
B.SAP 和其他带有专用实例的 AWS 合作伙伴解决方案
C.SAP NetWeaver 中嵌入的 AWS 合作伙伴解决方案
步骤 B1
BryteFlow SAP Data Lake Builder 和 Qlik Replicate 等 AWS 合作伙伴解决方案,为全面的数据摄取场景提供基于实例的解决方案。
步骤 B2
SAP Datasphere 或 SAP Data Services 使用 SAP 原生集成,将数据发送到 Amazon Simple Storage Service(Amazon S3)或 Amazon Redshift。
步骤 B3
SAP SLT 复制引擎支持使用数据库连接将数据复制到 Amazon Relational Database Service(Amazon RDS)。Syntax CXLink 等 AWS 合作伙伴解决方案支持使用适用于 SAP SLT 的 ABAP 附加组件,将数据流式传输到 Amazon S3 和 Amazon Kinesis。
步骤 C
SAP NetWeaver 中嵌入的 AWS 合作伙伴解决方案,如 SNP Glue,提供从基于 SAP NetWeaver 的源系统到 AWS 云的点对点数据复制。
步骤 2
从 SAP 提取的数据可以存放在 AWS 服务中,如 Amazon S3、Amazon Redshift、Amazon Kinesis 或 Amazon RDS,可以使用 AWS 分析和生成式人工智能服务将其与非 SAP 数据组合,并进行进一步处理和分析。
-
A.AWS Managed Services
此架构图显示如何使用 AWS Glue 将 SAP 数据摄取到 AWS。对于其他架构模式,请打开其他选项卡。
步骤 1
使用以下 AWS Managed Services 选项从 SAP 提取数据:A. 用于应用程序级提取的 AWS Glue SAP PyRFC 库(需要自定义设计才能捕获变更数据)
B. Amazon AppFlow SAP OData 连接器(内置 SAP ODP 变更数据捕获)
使用相应的字段为基于 AWS Glue 的方法设计变更数据捕获,这些字段指示更改后的记录,例如数据更改时间戳。
步骤 1a
使用 SAP PyRFC 库和 AWS Glue Python 模块调用 SAP RFC 提取 SAP 数据。步骤 1b
在源 SAP 系统中配置 OData 服务,使用适用于 Amazon AppFlow 的 SAP OData 连接器配置 SAP 连接,创建流程,安排流程或按需运行以提取 SAP 数据。步骤 4
AWS Glue 执行数据转换,例如连接、联合、聚合、筛选、重命名字段、删除字段、添加时间戳或自定义转换。步骤 5
AWS Secrets Manager 存储凭证。AWS Identity and Access Management(IAM)用于访问管理和角色配置。步骤 6
选择目标 AWS 服务作为数据目标,例如 Amazon S3、Amazon Redshift 或 Amazon RDS。从 SAP 提取的数据可以与非 SAP 数据相结合,使用 AWS 分析和生成式人工智能服务进行进一步处理和分析。 -
B1.BryteFlow 的 AWS 合作伙伴解决方案
此架构图显示如何使用合作伙伴解决方案:BryteFlow SAP Data Lake Builder 将 SAP 数据摄取到 AWS。对于其他架构模式,请打开其他选项卡。
步骤 1a
对于应用程序级数据提取,请基于 CDS 视图、BW 提取器、BW 数据提供商或 HANA 信息视图配置 SAP OData 服务。步骤 1b
数据库级数据提取(需要有允许数据库访问的 SAP 许可证)使用基于触发器(SAP HANA 数据库)或基于日志的机制(Oracle、SQL、DB2)来复制数据。步骤 2
AWS 合作伙伴解决方案 BryteFlow SAP Data Lake Builder 提供应用程序级和数据库级 SAP 数据提取,并将变更数据捕获到 AWS 云。BryteFlow SAP Data Lake Builder 是预配置的亚马逊机器映像(AMI),在 AWS Marketplace 上提供。按照说明在 Amazon Elastic Compute Cloud(Amazon EC2)实例上配置 AMI。
步骤 3
捕获的初始数据和变更后的数据由在 EC2 实例上运行的 BryteFlow SAP Data Lake Builder 软件摄取到 AWS 分析服务。本指南支持向 Amazon S3、Amazon Redshift 和 Amazon RDS 追加和更新/插入 (“upsert”)。Amazon S3 upsert 操作需要额外的服务,例如 Amazon EMR 和 Amazon Elastic Block Service(Amazon EBS)。配置了架构的数据目录和分区。
步骤 4
BryteFlow SAP Data Lake Builder 将 IAM、AWS Key Management Service(AWS KMS)、Amazon CloudWatch 和 Amazon Simple Notification Service(Amazon SNS)用于安全、监控和警报。 -
B2:SAP Datasphere 和 Data Services
此架构图显示如何使用 SAP Datasphere 或 SAP Data Services 将 SAP 数据摄取到 AWS。对于其他架构模式,请打开其他选项卡。
步骤 1
可以使用以下工具从 RISE、AWS 或本地托管的 SAP ERP 中提取数据:A.SAP Datasphere
B.SAP Data Services
SAP Datasphere
步骤 2a
SAP Datasphere 提供各种连接类型,例如支持 RFC 和 ODP 协议的 SAP ABAP 连接、SAP ECC 连接和 SAP S/4HANA 云连接。请参阅 SAP Datasphere 文档,选择最合适的连接来提取 SAP 数据。步骤 2b
使用 Amazon Simple Storage Connections 的高级出站集成,配置 SAP Datasphere 复制流程,将数据摄取到 Amazon S3。SAP Data Services
步骤 3a
在 Amazon EC2 实例或本地安装 SAP Data Services。步骤 3b
SAP Data Services 提供各种连接,用于从 SAP ECC 数据中提取数据。请参阅 SAP Data Services 文档,选择最合适的连接。步骤 3c
SAP Data Services 提供 Amazon Redshift Datastore 和 Amazon S3 数据存储,用于将数据摄取到 AWS。步骤 3d
SAP Data Services 为 Amazon S3 文件定位协议提供选项,例如加密类型、压缩类型、批次大小、线程数、Amazon S3 存储类等。 -
B3:SAP SLT
此架构图显示如何使用 SAP SLT 将 SAP 数据摄取到 AWS。对于其他架构模式,请打开其他选项卡。
步骤 1
将 SAP SLT 中的 RFC 目标配置为源 SAP ERP 系统。步骤 2
使用主机名、用户名和密码配置 SAP SLT 数据库与目标 Amazon RDS 服务器的连接。配置 SAP SLT 批量传输 ID,以实时或按计划频率将表(初始和增量数据)复制到 Amazon RDS。步骤 3
Amazon RDS 支持插入、更新和删除操作,可用作后续数据加载到 Amazon S3 或 Amazon Redshift 时的登录区域。步骤 4
要将数据复制到 Amazon S3 或 Amazon Kinesis,请在 SAP SLT 服务器上安装 AWS 合作伙伴解决方案 ABAP 附加组件,例如 Syntax CxLink Data Lakes。步骤 5
Syntax CxLink Data Lakes 实时或按计划频率将数据复制到 Amazon S3 或 Amazon Kinesis。增量数据将附加到现有数据中。 -
C:SNP 的 SAP NetWeaver 附加组件解决方案
此架构图显示如何使用 SAP NetWeaver 附加组件解决方案 SNP Glue 将数据从 SAP 提取到 AWS。对于其他架构模式,请打开其他选项卡。
步骤 1
在基于 SAP ABAP 的源系统(例如 S/4HANA、ECC、CRM 或 BW)Netweaver 7.1 SP14 或更高版本上安装和配置 SNP Glue ABAP 附加组件。步骤 2
SNP Glue 配置工作台允许选择表、修改源和目标结构、筛选数据以及添加转换规则。步骤 3
SNP Glue 调度器允许通过限制后台工作进程的最大数量来创建灵活的时间表并节流 SAP 资源。步骤 4
初始和增量数据以及删除数据均由 SNP Glue 捕获,并复制到 Amazon S3 和 Amazon Redshift 等 AWS 服务。
Well-Architected 支柱
当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营
AWS CloudFormation 自动执行部署流程,而 CloudWatch 则提供可观测性、跟踪和追踪功能。可以使用 CloudFormation 部署整个解决方案,这有助于在开发、质量保证和生产账户之间自动部署。这种自动化可以集成到您的开发管道中,从而在您的 SAP 环境中实现迭代开发和一致部署。
-
安全性
IAM 通过权限控制和身份验证来保护 AWS Glue 和 Amazon AppFlow 的安全。这些托管服务仅访问指定的数据。Amazon AppFlow 便于访问 SAP 工作负载。传输中数据和静态数据都会被加密。AWS CloudTrail 会记录 API 调用以进行审计。S3 存储桶和跨区域复制可以存储数据。为了增强安全性,请使用 AWS 证书管理器通过具有 Elastic Load Balancing 和 SSL 终止功能的 AWS PrivateLink 运行 Amazon AppFlow。
-
可靠性
Amazon AppFlow 和 AWS Glue 可以可靠地移动大量数据,而无需将其分成多个批次。Amazon S3 为 SAP 数据导出和导入提供业界领先的可扩展性、数据可用性、安全性和性能。 PrivateLink 是一项区域服务,在使用 PrivateLink 设置 Amazon AppFlow 的过程中,您将在该区域设置至少 50% 的可用区(每个区域至少两个可用区),从而为 ELB 提供额外的冗余级别。
-
性能效率
SAP 运营数据预置框架可捕获变更后的数据。Amazon AppFlow 和 AWS 合作伙伴解决方案(如 BryteFlow 和 SNP)中的并行化功能,可让客户选择要在后台运行的并行进程的数量,从而并行处理大量数据。Amazon S3 通过支持的数据集成机制,借助分段上传提高了吞吐量。并行化功能以及与 Amazon S3 的无缝集成,可将高效且可扩展的数据从 SAP 系统摄取到 AWS。
-
成本优化
使用 Amazon AppFlow 或 AWS Glue 等无服务器技术以及 Amazon EC2 自动扩展功能后,只需为消耗的资源付费。为了进一步优化成本,请利用语义数据模型(例如 BW 提取器或 CDS 视图)仅提取所需的业务数据组。根据您的报告粒度需求,最大限度地减少流量数量。在 Amazon S3 中为旧数据或不需要的数据设置数据分层或删除操作,以此实现内务管理。
-
可持续性
可以实时调度或调用数据提取工作负载,从而无需持续运行底层基础设施。使用无服务器和自动扩展服务是处理数据提取工作负载的一种可持续方法,因为这些组件仅在需要时才会激活。通过使用托管服务和动态扩展,您可以最大限度地降低后端服务的环境影响。在 Amazon AppFlow 可用时采用新的选项,以优化提取量和提取频率。
相关内容
使用 BryteFlow 在业务逻辑完好无损的情况下将 SAP 实时复制到 AWS
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。
本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点,您可以在部署架构时自定义与第三方服务的集成。