AWS Data Pipeline は、指定された間隔で、AWS のさまざまなコンピューティングサービスやストレージサービスのほか、オンプレミスのデータソース間で信頼性の高いデータ処理やデータ移動を行うことを支援するウェブサービスです。AWS Data Pipeline を使用すると、保存場所にあるお客様のデータに定期的にアクセスし、必要なスケールのリソースで変換と処理を行い、その結果を Amazon S3、Amazon RDS、Amazon DynamoDB、Amazon EMR のような AWS サービスに効率的に転送できます。
AWS Data Pipeline により、耐障害性があり、繰り返し可能で、高可用性を備えた、複雑なデータ処理ワークロードを簡単に作成できます。リソースの可用性の保証、タスク間の依存関係の管理、タスクごとの一時的な失敗による再試行やタイムアウト、失敗通知システムの作成などについて心配する必要はありません。AWS Data Pipeline を使用すると、オンプレミスのデータ格納庫に保管されていたデータの移動と処理も可能になります。
信頼性
AWS Data Pipeline は、お客様のアクティビティ実行の耐障害性を高めるべく、高可用性を備えた分散型インフラストラクチャ上に構築されています。アクティビティロジックまたはデータソースに障害が発生した場合、AWS Data Pipeline は自動的にアクティビティを再試行します。失敗が続く場合、AWS Data Pipeline は失敗通知を Amazon Simple Notification Service (Amazon SNS) 経由で送信します。 正常実行、計画したアクティビティの遅延、または失敗に対して、通知が行われるように設定できます。
使いやすさ
ドラッグアンドドロップで操作可能なコンソールを使用して、すばやく簡単にパイプラインを作成できます。よく使用される前提条件がサービスに組み込まれているため、前提条件を使用するための追加のロジックを記述する必要がありません。たとえば、Amazon S3 バケットの名前とチェックするファイルのパスを入力するだけで Amazon S3 ファイルの有無を確認でき、残りの作業は AWS Data Pipeline が行います。
簡単で視覚的なパイプライン作成ツールに加え、AWS Data Pipeline にはパイプラインテンプレートのライブラリが用意されています。これらのテンプレートを利用すれば、より複雑なユースケースのパイプラインも簡単に作成できます。たとえば、規則的なログファイルの処理、Amazon S3 へのデータのアーカイブ、SQL クエリの定期的な実行などです。
柔軟性
スケジュール設定、依存関係の追跡、エラー処理など、AWS Data Pipeline のさまざまな機能を利用できます。AWS が提供しているアクティビティや前提条件を使用したり、ユーザー独自のカスタムアクティビティやカスタム前提条件を記述したりすることもできます。つまり、AWS Data Pipeline を設定して、Amazon EMR ジョブの実行、データベースに対するSQL クエリの直接の実行、または Amazon EC2 やユーザーのデータセンターで稼働するカスタムアプリケーションの実行などのアクションを取らせることができます。これにより、アプリケーションロジックを確実にスケジュール設定して実行するための複雑な手間をかけることなく、高機能なカスタムパイプラインを作成して、データの分析や処理ができるようになります。
スケーラブル
AWS Data Pipeline により、1 台のマシンに送信する場合も多数のマシンに送信する場合も、また、シリアル送信の場合もパラレル送信の場合も、送信作業は簡単です。AWS Data Pipeline の柔軟な設計により、何百万ものファイルの処理を 1 つのファイルの処理と同じように簡単に行うことができます。
透過的
ビジネスロジックを実行するコンピューティングリソースのコントロール権は完全にお客様にあるため、ロジックの拡張やデバッグも簡単です。さらに実行ログ全体が自動的に Amazon S3 に送信されるため、パイプラインで起きたことについて永続的で詳細なレコードを取得できます。