即便我在 EmrCluster 对象中指定不同的实例,AWS Data Pipeline 仍然会使用 m3.xlarge Amazon Elastic Compute Cloud (Amazon EC2) 实例。如何防止 Data Pipeline 覆盖我选择的实例类型?

在以下两项条件均符合时,Data Pipeline 会使用 m3.xlarge 覆盖您选择的实例类型:

  • EmrActivity 使用 DynamoDBDataNode 作为输入或输出数据节点。
  • resizeClusterBeforeRunning 设置为 true

Data Pipeline 还会覆盖您指定的 instanceCount 值,这可能会增加您的月度成本。

为了防止发生这种情况,请将 resizeClusterBeforeRunning 参数设置为 false

  1. 打开 Data Pipeline 控制台
  2. List Pipelines (列出管道) 页面中,选择您的 Pipeline ID (管道 ID),然后选择 Edit Pipeline (编辑管道) 以打开 Architect (架构师) 页面。
  3. 在右侧窗格内,选择 Activities (活动),然后找到 EmrActivity 对象。
  4. Resize Cluster Before Running (运行前调整集群大小) 设置为 false
  5. 选择保存

激活管道时,Data Pipeline 使用您在 EmrCluster 对象中指定的实例类型和计数。


此页内容对您是否有帮助? |

返回 AWS Support 知识中心

需要帮助? 请访问 AWS Support 中心

发布时间:2019 年 2 月 14 日