如何为 Amazon S3 配置 Data Pipeline 先决条件?
上次更新日期:2021 年 2 月 2 日
如果特定的 Amazon Simple Storage Service (Amazon S3) 存储桶不存在,我该如何使用 AWS Data Pipeline 先决条件来停止正在运行的管道?
简短描述
为 S3DataNode 创建一个 S3PrefixNotEmpty 先决条件。S3PrefixNotEmpty 是 系统托管的先决条件。除非您指定超时 (preconditionTimeout),否则系统托管的先决条件将持续运行,直到其条件为“真”为止。
注意: 在活动管道上,先决条件将产生额外的费用。有关更多信息,请参阅 AWS Data Pipeline 定价。
解决方法
管道处于活动状态时,您无法配置先决条件。要向活动管道添加先决条件,请先克隆管道,然后完成以下步骤:
- 打开 AWS Data Pipeline 控制台。
- 选择已停用的管道,然后选择操作和编辑。
- 选择一个现有的 s3DataOde 对象。或者,通过选择添加下拉列表,然后选择 S3DataNode 来创建一个新的对象。
- 在 S3DataOde 对象的添加可选字段下拉列表中,选择先决条件。
- 在先决条件下拉列表中,选择新建:先决条件。
- 打开先决条件部分,然后找到您刚创建的先决条件对象。
- 在类型下拉列表中,选择 S3PrefixNotEmpty。
- 在 S3 前缀字段中,输入 Amazon S3 路径。有关在管道定义 JSON 中的外观的示例,请参阅 S3PrefixNotEmpty。
要指定超时:
- 在 S3PrefixNotEmpty 对象的添加可选字段下拉列表中,选择先决条件超时。
- 指定超时条件。
当满足 preconditionTimeout 时,从属节点将以 CASCADE_FAILED 状态失败。