Amazon Kinesis Data Firehose は、ストリーミングデータをデータストアや分析ツールにロードする最も簡単な方法です。Kinesis Data Firehose は、フルマネージド型のサービスです。このサービスでは数十万ものソースからの膨大なボリュームのストリーミングデータを簡単にキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics、Splunk にロードできます。データをほぼリアルタイムで分析し、深い理解を得ることができます。

AWS を無料でお試しください

今すぐ無料でお試し

12 か月間の AWS 無料利用枠と、24 時間年中無休のカスタマーサービスやサポートフォーラムなどの AWS の基本的なサポート機能を利用できます。現在、Amazon Kinesis Data Firehose を AWS 無料利用枠でご利用いただくことはできません。


AWS マネジメントコンソールからわずか数回のクリックで Amazon Kinesis Data Firehose を起動し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk にデータをロードする配信ストリームを作成できます。配信ストリームへのデータ送信は、Firehose API の呼び出し、または AWS がデータソースで提供する Linux エージェントの実行により行うことができます。これにより、Kinesis Data Firehose から Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk への継続的なデータのロードが行われるようになります。

データを送信先にアップロードするスピードを制御するために、バッチサイズまたはバッチ間隔を指定できます。例えば、配信ストリームへの送信の 60 秒以内の新しいデータを受信したい場合、バッチ間隔を 60 秒に設定します。また、データを圧縮するかどうかも指定できます。このサービスでは、GZip や Snappy といった一般的な圧縮アルゴリズムがサポートされています。バッチ設定とアップロード前のデータ圧縮により、送信先での新規データ受信のスピードを制御できます。

配信ストリームは、いったん起動されると自動的にスケーリングされ、1 秒あたり数ギガバイトを超える入力データレートにも対応し、データレイテンシーはお客様がストリームに指定したレベルに維持されます。手作業での介入やメンテナンスは不要です。

Amazon Kinesis Data Firehose では、データストアにロードする前にストリーミングデータを準備するよう設定できます。設定するには、AWS マネジメントコンソールの Amazon Kinesis Data Firehose 配信ストリーム設定タブから、AWS Lambda 関数を選択します。この関数は、Amazon Kinesis Data Firehose で自動的にすべての入力データレコードに適用されます。その後、変換されたデータが送信先にロードされます。Amazon Kinesis Data Firehose では、事前に構築された Lambda 設計図が提供されます。この設計図を使用して、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換できます。これら事前に構築された設計図は、そのまま使うことも、カスタマイズを加えることもできます。独自のカスタム関数を記述することも可能です。また、失敗したジョブを自動的に再試行し、生のストリーミングデータをバックアップするよう Amazon Kinesis Data Firehose を設定することもできます。 詳細 »

Amazon Kinesis Data Firehose で現在サポートされている送信先は、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk です。データをロードする送信先として、Amazon S3 バケット、Amazon Redshift テーブル、Amazon Elasticsearch ドメイン、または Splunk クラスターを指定できます。

Amazon Kinesis Data Firehose には、送信先にアップロードされたデータを自動的に暗号化するオプションが用意されています。配信ストリーム設定の一部として、AWS Key Management System (KMS) 暗号化キーを指定できます。

Amazon Kinesis Data Firehose では、コンソールや Amazon CloudWatch からいくつかのメトリクスを参照できます。これには送信されたデータ量、送信先にアップロードされたデータ量、送信元から送信先までの時間、アップロード成功率などが含まれます。これらのメトリクスによって、配信ストリームの状態をモニタリングし、必要に応じて送信先変更などのアクションを実行して、データが正しく処理されてから送信先にロードされるようにできます。

Amazon Kinesis Data Firehose では、このサービスを使って送信するデータ量に対してのみ、料金をお支払いいただきます。最低料金や前払いの義務はありません。インフラストラクチャのオペレーション、スケーリング、メンテナンスのためのスタッフは不要ですし、ストリーミングデータのキャプチャやロードのためのカスタムアプリケーションも不要です。