在 AWS 上连接广告和营销分析工作负载数据来源的指南

第 4 步
Amazon DynamoDB 为每份下载的报告存储元数据。

第 5 步
Lambda 函数（Download Report）将报告写入原始的 Amazon Simple Storage Service（Amazon S3）存储桶，其前缀包含具体的报告类型和报告日期。将报告写入 S3 存储桶时，Lambda 使用 Amazon 托管的 AWS Key Management Service（AWS KMS）密钥对报告进行加密。

第 6 步
S3 对象插入存储桶时，其发出的通知调用 Step Functions 状态机。如果经过指定时间没有再收到更多对象，数据转换 Step Functions 状态机就会启动，并调用一个 Lambda 函数。

第 7 步
Lambda 函数（Update Metadata）在 DynamoDB 表中存储 Step Functions 执行 ID 的任务令牌。AWS Glue 作业处理数据，并从原始 S3 存储桶中读取数据，然后将其转换为可用格式。

第 1 步
Amazon EventBridge 调度作业，启动 AWS Step Functions 状态机。该状态机处理一系列 AWS Lambda 函数，帮助创建报告。

第 2 步
状态机调用 Lambda 函数（Create Request Execution）从 Amazon Ads API 或 Amazon Selling Partner API 创建报告请求。

第 3 步
在 AWS Secrets Manager 中存储 API 凭证，并在调用 API 时使用这些凭证。然后，状态机进入一系列轮询步骤，在下载报告前调用 Lambda 函数（Check Report Status）检查报告请求状态。

第 4 步
Amazon DynamoDB 为每份下载的报告存储元数据。

第 4 步
当指南将对象存储到存储桶中时，Amazon S3 的通知会启动 Step Functions 状态机。如果经过指定时间没有再收到更多对象，数据转换 Step Functions 状态机将启动，并继续执行常规流程。

第 5 步
Lambda 函数将 Step Functions 执行 ID 的任务令牌存储到 DynamoDB 表，并调用 AWS Glue 作业。AWS Glue 作业运行，从原始存储桶读取数据，并进行转换。AWS Glue 将转换后的数据写入清洁的 S3 存储桶。AWS Glue Data Catalog 元数据也会写出。由此堆栈创建的 AWS KMS 客户自主管理型密钥（CMK）会对存储桶内容和 AWS Glue 元数据进行加密。

第 6 步
通过存储 Step Functions 工作流程元数据和执行信息，DynamoDB 建立了统一的可观测性。然后，Amazon Simple Notification Service（Amazon SNS）会生成可观测性通知。

第 7 步
使用以下 AWS 服务实现安全性和访问权限：AWS Identity and Access Management（IAM）实现对特定资源和操作的最低权限访问。AWS KMS 为静态数据和传输中数据提供加密。Secrets Manager 为 PII 数据提供哈希密钥。Amazon CloudWatch 监控本指南中使用的所有服务的日志和指标。

第 1 步
EventBridge 调度启动 Step Functions 状态机的作业，其中包括启动 Amazon Appflow。

第 2 步
Amazon AppFlow 流程首先打开与外部数据提供商的连接，并请求数据。外部提供商使用数据响应 Amazon AppFlow。

第 3 步
Amazon AppFlow 将数据放入原始的 S3 存储桶和指定前缀。Amazon AppFlow 使用 AWS KMS 密钥对写入原始 S3 存储桶的对象进行加密。

第 4 步
当指南将对象存储到存储桶中时，Amazon S3 的通知会启动 Step Functions 状态机。如果经过指定时间没有再收到更多对象，数据转换 Step Functions 状态机将启动，并继续执行常规流程。

第 5 步
从工作流程执行 AWS Glue 爬网程序，对数据目录中为读取而优化的数据进行编目。

第 6 步
使用 Lambda 函数执行后处理活动，例如在清理过程中，将源数据文件移动到“archive”前缀位置。

第 7 步
使用 Amazon SNS 发布工作流程完成事件，并通过电子邮件通知操作员和用户。使用 HTTP 或 Topic 选项与其他可观测性工具集成。

第 8 步
使用以下 AWS 服务实现安全性和访问权限：IAM 实现对特定资源和操作的最低权限访问。AWS KMS 为静态数据和传输中数据提供加密。 Secrets Manager 为 PII 数据提供哈希密钥。CloudWatch 监控本指南中使用的所有服务的日志和指标。

第 1 步
外部数据来源将原始数据文件（如 CSV）推送到每日分区的登录区 S3 存储桶中。请参考外部文档，设置推送作业输入，如 S3 存储桶位置、访问密钥和调度频率。

第 2 步
在 EventBridge 中创建一条规则，以调度 Step Functions 标准工作流程，按要求的频率处理数据。

第 3 步
在工作流程中，使用 Lambda 函数执行文件级处理，例如 Pretty Good Privacy（PGP）解密。将解密后的文件放入不同的 S3 存储桶前缀。

第 4 步
使用 AWS Glue 作业处理登录区 S3 存储桶中的解密数据文件，并将数据写入单独已处理区的 S3 存储桶中。使用为读取而优化的 Apache Parquet 格式写入对象。应用属性级转换（如 SHA256 哈希算法），以确保敏感数据的安全。根据需要应用分区方案，以优化读取。

第 3 步
AWS Glue 作业和工作流程对解密的数据文件进行行级处理，并将数据写入单独的 S3 存储桶。使用为读取而优化的 Apache Parquet 格式写入对象。应用属性级转换（如 SHA256 哈希算法），以确保敏感数据的安全。根据需要应用自定义分区方案，以优化读取。

第 4 步
从工作流程执行 AWS Glue 爬网程序，对数据目录中为读取而优化的数据进行编目。

第 5 步
向 Amazon SNS 发布通知，通知操作员工作流程是成功还是失败。使用 HTTP 或 Topic 选项与其他可观测性工具集成。

第 6 步
使用以下 AWS 服务实现安全性和访问权限：IAM 实现对特定资源和操作的最低权限访问。AWS KMS 为静态数据和传输中数据提供加密。Secrets Manager 为 PII 数据提供哈希密钥。CloudWatch 监控本指南中使用的所有服务的日志和指标。

第 1a 步
使用 AWS Glue 以及预构建的连接器或市场上的连接器，以批处理模式从关系数据库管理系统（RDBMS）中提取广告和营销分析应用场景所需的数据。AWS Glue 将从数据存储中检索数据并将其加载到 S3 存储桶中。Amazon S3 被配置为以 parquet 格式存储远程数据库文件的目标。

第 1b 步
使用 AWS Database Migration Service（AWS DMS）将存储在兼容关系数据库（本地或云端）的数据复制到 AWS。

第 2 步
EventBridge 中的规则会调度 Step Functions 标准工作流程，以要求的频率执行上传后处理。

第 3 步
AWS Glue 作业和工作流程对解密的数据文件进行行级处理，并将数据写入单独的 S3 存储桶。使用为读取而优化的 Apache Parquet 格式写入对象。应用属性级转换（如 SHA256 哈希算法），以确保敏感数据的安全。根据需要应用自定义分区方案，以优化读取。

第 5 步
经过处理的数据可随时供应用程序和其他数据消费者分析，其存储在标准的 S3 存储桶中。

第 6 步
当文件的上传后处理步骤失败时，Transfer Family 托管工作流程将调用 Lambda 函数。

第 7 步
Amazon SNS 发布异常事件，通过电子邮件或其他可观测性工具通知用户。

第 8 步
使用以下 AWS 服务实现安全性和访问权限：IAM 实现对特定资源和操作的最低权限访问。AWS KMS 为静态数据和传输中数据提供加密。Secrets Manager 为 PII 数据提供哈希密钥。 CloudWatch 监控本指南中使用的所有服务的日志和指标。

第 1 步
AWS Transfer Family 安全地迁移存储在文件系统（本地或云端）的数据，这些数据是广告和营销分析应用场景所需的。

第 2 步
来自远程服务器的原始文件以原样上传至原始 S3 存储桶。

第 3 步
Transfer Family 托管工作流程完成文件的上传后处理，包括解密、错误检查和格式更改。

第 4 步
Lambda 在将数据发送到存储之前，完成数据的自定义后处理。

第 6 步
使用 AWS Glue 任务和工作流程对解密后的数据文件进行数据处理，并将数据写入单独的 S3 存储桶。

第 7 步
使用为读取而优化的 Apache Parquet 格式写入对象。应用数据。根据需要对属性级转换（如 SHA256 哈希）应用自定义分区方案，以确保优化对敏感数据的读取。

第 8 步
创建 AWS Glue 爬网程序，并将其添加到工作流中，以便对数据目录中为读取而优化的数据进行编目。

第 9 步
使用另一个 Lambda 函数执行后处理活动（例如在清理过程中，将源数据文件移动到“archive”前缀位置），并节省存储成本。

第 10 步
使用 Amazon SNS 发布工作流程完成事件，并通过电子邮件通知操作员和用户。使用 HTTP 或 Topic 选项与其他可观测性工具集成。

第 11 步
使用以下 AWS 服务实现安全性和访问权限：IAM 实现对特定资源和操作的最低权限访问。AWS KMS 为静态数据和传输中数据提供加密。 Secrets Manager 为 PII 数据提供哈希密钥。CloudWatch 监控本指南中使用的所有服务的日志和指标。

第 1 步
在托管源对象存储的公有云中的虚拟机上，安装和配置 AWS DataSync Agent。

第 2 步
DataSync Agent 和 DataSync 支持为初始同步和连续的持续同步发现和调度数据传输。

第 3 步
配置 DataSync，将复制的数据存储在登录区 S3 存储桶中。

第 4 步
在 EventBridge 中创建一条规则，以调度 Step Functions 标准工作流程，按要求的频率处理数据。

第 5 步
在工作流程中，使用 Lambda 函数执行必要的文件级或对象级解密，并调用 AWS Glue 任务对数据进行规范化处理。

第 6 步
使用 AWS Glue 任务和工作流程对解密后的数据文件进行数据处理，并将数据写入单独的 S3 存储桶。