AWS クラウド
AWS クラウド
AWS Data Pipeline の使用を開始

AWS Data Pipeline は、指定された間隔で、信頼性のあるデータ処理やデータ移動(AWS のコンピューティングサービスやストレージサービス、ならびにオンプレミスのデータソース間)を行うことができるウェブサービスです。AWS Data Pipeline を使用すると、保存場所にあるお客様のデータに定期的にアクセスし、必要なスケールのリソースで変換と処理を行い、その結果を Amazon S3、Amazon RDS、Amazon DynamoDB、Amazon EMR のような AWS サービスに効率的に転送できます。

AWS Data Pipeline により、耐障害性があり、繰り返し可能で、高可用性を備えた、複雑なデータ処理ワークロードを簡単に作成できます。リソースの可用性の保証、タスク間の依存関係の管理、タスクごとの一時的な失敗による再試行やタイムアウト、失敗通知システムの作成などについて心配する必要はありません。また、AWS Data Pipeline により、オンプレミスのデータ格納庫に保管されていたデータの移動および処理も可能です。

Coursera-reInvent-2


信頼性

信頼性

AWS Data Pipeline は、お客様のアクティビティ実行の耐障害性を高めるべく、高可用性を備えた分散型インフラストラクチャ上に構築されています。アクティビティロジックまたはデータソースに障害が発生した場合、AWS Data Pipeline は自動的にアクティビティを再試行します。失敗が続く場合、AWS Data Pipeline は失敗通知を Amazon Simple Notification Service (Amazon SNS) 経由で送信します。正常実行、計画したアクティビティの遅延、または失敗に対して、通知が行われるように設定できます。

使用が簡単

使用が簡単

ドラッグアンドドロップで操作可能なコンソールを使用して、すばやく簡単にパイプラインを作成できます。よく使用される前提条件がサービスに組み込まれているため、前提条件を使用するための追加のロジックを記述する必要がありません。例えば、Amazon S3 バケットの名前とチェックするファイルのパスを入力するだけで Amazon S3 ファイルの有無を確認でき、残りの作業は AWS Data Pipeline が行います。簡単で視覚的なパイプライン作成ツールに加え、AWS Data Pipeline にはパイプラインテンプレートのライブラリが用意されています。これらのテンプレートを利用すれば、より複雑なユースケースのパイプラインも簡単に作成できます。例えば、規則的なログファイルの処理、Amazon S3 へのデータのアーカイブ、SQL クエリの定期的な実行などです。

柔軟性

柔軟性

スケジュール設定、依存関係の追跡、エラー処理など、AWS Data Pipeline のさまざまな機能を利用することができます。AWS が提供しているアクティビティや前提条件を使用したり、ユーザー独自のカスタムアクティビティやカスタム前提条件を記述したりすることもできます。つまり、AWS Data Pipeline を設定して、Amazon EMR ジョブの実行、SQL クエリのデータベースに対する直接の実行、または Amazon EC2 やユーザーのデータセンターで実行されるカスタムアプリケーションの実行などのアクションを実行できます。これにより、アプリケーションロジックを確実にスケジュール設定して実行するための複雑な手間をかけることなく、高機能なカスタムパイプラインを作成して、データの分析や処理ができるようになります。

スケーラブル

スケーラブル

AWS Data Pipeline により、1 台のマシンに送信する場合も多数のマシンに送信する場合も、また、シリアル送信の場合もパラレル送信の場合も、作業の送信は簡単です。AWS Data Pipeline の柔軟な設計により、何百万ものファイルの処理を 1 つのファイルの処理と同じように簡単に行うことができます。

 

低コスト

低コスト

AWS Data Pipeline は使用コストが安価で、月ごとの請求料金が安く済みます。AWS の無料利用枠により、無償でお試しいただけます。詳細はこちらをご覧ください。

透過性

透過性

ビジネスロジックを実行するコンピューティングリソースのコントロール権は完全にお客様にあるため、ロジックの拡張やデバッグも簡単です。さらに実行ログ全体が自動的に Amazon S3 に送信されるため、パイプラインで起こった出来事について永続的で詳細なレコードを入手できます。

使用を開始する