AWS 云
AWS 云
开始使用 AWS Data Pipeline

AWS Data Pipeline 是一种 Web 服务,可帮助您可靠地处理数据并以指定的间隔在不同 AWS 计算与存储服务以及内部数据源之间移动数据。利用 AWS Data Pipeline,您可以定期在您存储数据的位置访问数据,大规模转换和处理数据,并高效地将结果传输到各种 AWS 服务中,例如 Amazon S3、Amazon RDS、Amazon DynamoDB 和 Amazon EMR。

AWS Data Pipeline 帮助您轻松创建具有容错、可重复和高可用性特征的复杂数据处理工作负载。您无须确保资源可用性,管理作业间的从属性,或担心重试瞬时失效或超时的单个任务,以及创建故障通知系统等问题。AWS Data Pipeline 让您移动和处理之前在本地数据孤岛中锁定的数据。

观看此网站上的视频需安装 Adobe Flash Player 或新型浏览器。

Coursera-reInvent-2


运行可靠

运行可靠

AWS Data Pipeline 构建在专为容错执行活动而设计的、高度可用的分布式基础设施上。如果您的活动逻辑或数据源出现故障,AWS Data Pipeline 会自动重试该活动。如果故障仍然存在,AWS Data Pipeline 会通过 Amazon Simple Notification Service (Amazon SNS) 向您发送故障通知。 您可以针对成功运行、计划活动的延迟或故障配置通知。

易于使用

易于使用

通过我们的拖放式控制台可轻松快速创建管道。常见前提条件已内建到服务中,因此您不必向服务写入任何额外逻辑。例如,要检查是否存在 Amazon S3 文件,您只需提供 Amazon S3 存储段的名称和您要检查的文件的路径即可,AWS Data Pipeline 会处理剩下的事情。除了易用的可视化管道创建程序外,AWS Data Pipeline 还提供了管道模板库。这些模板使您能够轻松地为许多复杂用例创建管道,例如定期处理日志文件、将数据存档到 Amazon S3,或运行定期 SQL 查询。

灵活

灵活

AWS Data Pipeline 允许您利用各种功能,如计划时间表、相关性跟踪和错误处理。您可以使用 AWS 提供的活动和前提条件或自己编写。这意味着,您可以配置 AWS Data Pipeline 来进行以下操作,例如:运行 Amazon EMR 作业、直接对数据库执行 SQL 查询、在 Amazon EC2 或您在自己的数据中心运行自定义应用程序。这使您能够创建强大的管道来分析和处理数据,而无需处理与可靠地计划和执行应用程序逻辑相关的复杂问题

可扩展

可扩展

AWS Data Pipeline 是以串行或并行方式向一台或多台机器分配工作同样简单。利用 AWS Data Pipeline 的灵活设计,处理一百万个文件就像处理一个文件一样简单。

 

成本低廉

成本低廉

AWS Data Pipeline 使用价格低,并且按较低的月度费用收费。您可以凭借 AWS 免费使用套餐免费试用。了解更多

透明

透明

您可以完全控制执行您的逻辑的计算资源,从而使增强或调试逻辑更加容易。此外,系统会自动将完整的执行日志提交到 Amazon S3,从而让您对管道中发生的事件有一个持续详尽的记录。

开始使用