AWS Data Pipeline 是一種 Web 服務,可為資料驅動型工作流程提供簡單的管理系統。您可以使用 AWS Data Pipeline 定義管道,這個管道由包含您資料的「資料來源」、「活動」或商業邏輯 (如 EMR 工作或 SQL 查詢) 以及執行商業邏輯的「排程」組成。例如,您可以定義一個工作,每個小時針對該小時的 Amazon Simple Storage Service (Amazon S3) 日誌資料執行 Amazon Elastic MapReduce (Amazon EMR) 分析,將結果載入關聯式資料庫以備日後查詢,然後自動傳送每日摘要電子郵件給您。

AWS Data Pipeline 處理:

  • 您工作的排程、執行和重試邏輯
  • 追蹤商業邏輯、資料來源和之前處理步驟之間的相依性,確保滿足所有相依性之後才能執行您的邏輯。
  • 傳送任何必要的失敗通知
  • 建立和管理您工作所需的任何臨時運算資源

開始免費使用 AWS

建立免費帳戶
或者,請登入主控台

AWS 免費方案包括使用 AWS Data Pipeline 的 3 個低頻先決條件和 5 個低頻活動。

查看 AWS 免費方案詳細資訊 »

為了在執行活動之前確定所有資料均為可用,AWS Data Pipeline 允許您選擇性地建立資料可用性檢查,稱為「先決條件」。這些檢查將重複嘗試驗證資料可用性,而且會防止任何相依活動在未滿足先決條件之前執行。

要使用 AWS Data Pipeline,您只需:

  • 使用 AWS 管理主控台、命令列界面或服務 API,定義它們要執行的資料來源、先決條件、活動和排程,以及任何選擇性的通知條件。
  • 如果資料未如預期成為可用或活動發生錯誤,會收到可設定的自動通知。

您可以在 AWS 管理主控台的範本部分中找到 (和使用) 各種熱門的 AWS Data Pipeline 任務。這些任務包括:

  • 每小時分析 Amazon S3 日誌資料
  • 每天將 AmazonDynamoDB 資料複寫到 Amazon S3
  • 定期將現場部署 JDBC 資料庫表格複寫到 RDS

有關詳細資訊,請參閱 AWS Data Pipeline Developer Guide

使用本服務需遵守 Amazon Web Services 客戶協議