如何为 Amazon S3 配置 Data Pipeline 先决条件?

上次更新日期:2021 年 2 月 2 日

如果特定的 Amazon Simple Storage Service (Amazon S3) 存储桶不存在,我该如何使用 AWS Data Pipeline 先决条件来停止正在运行的管道?

简短描述

S3DataNode 创建一个 S3PrefixNotEmpty 先决条件。S3PrefixNotEmpty系统托管的先决条件。除非您指定超时 (preconditionTimeout),否则系统托管的先决条件将持续运行,直到其条件为“真”为止。

注意: 在活动管道上,先决条件将产生额外的费用。有关更多信息,请参阅 AWS Data Pipeline 定价

解决方法

管道处于活动状态时,您无法配置先决条件。要向活动管道添加先决条件,请先克隆管道,然后完成以下步骤:

  1. 打开 AWS Data Pipeline 控制台
  2. 选择已停用的管道,然后选择操作编辑
  3. 选择一个现有的 s3DataOde 对象。或者,通过选择添加下拉列表,然后选择 S3DataNode 来创建一个新的对象。
  4. S3DataOde 对象的添加可选字段下拉列表中,选择先决条件
  5. 先决条件下拉列表中,选择新建:先决条件
  6. 打开先决条件部分,然后找到您刚创建的先决条件对象。
  7. 类型下拉列表中,选择 S3PrefixNotEmpty
  8. S3 前缀字段中,输入 Amazon S3 路径。有关在管道定义 JSON 中的外观的示例,请参阅 S3PrefixNotEmpty

要指定超时:

  1. S3PrefixNotEmpty 对象的添加可选字段下拉列表中,选择先决条件超时
  2. 指定超时条件。

当满足 preconditionTimeout 时,从属节点将以 CASCADE_FAILED 状态失败。


这篇文章对您有帮助吗?


您是否需要账单或技术支持?