Amazon Kinesis Data Firehose は、ストリーミングデータをデータストアや分析ツールにロードする最も簡単な方法です。Kinesis Data Firehose は、フルマネージド型のサービスです。このサービスでは数十万ものソースからの膨大なボリュームのストリーミングデータを簡単にキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにロードできます。データをほぼリアルタイムで分析し、深いインサイトを得ることが可能です。

配信ストリーム

配信ストリームは Kinesis Data Firehose の基盤となるエンティティです。配信ストリームを作成し、そこにデータを送信することにより、Kinesis Data Firehose を利用できます。

主な特徴

起動と設定が簡単

AWS マネジメントコンソールからわずか数回のクリックで Amazon Kinesis Data Firehose を起動し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、HTTP エンドポイント、Datadog、New Relic、MongoDB、または Splunk にデータをロードする配信ストリームを作成できます。配信ストリームへのデータ送信は、Firehose API の呼び出し、または AWS がデータソースで提供する Linux エージェントの実行により行うことができます。これにより、Kinesis Data Firehose から、指定された送信先への継続的なデータのロードが行われるようになります。

ほぼリアルタイムの新規データのロード

データを送信先にアップロードするスピードを制御するために、バッチサイズまたはバッチ間隔を指定できます。例えば、配信ストリームへの送信の 60 秒以内の新しいデータを受信したい場合、バッチ間隔を 60 秒に設定します。また、データを圧縮するかどうかも指定できます。このサービスでは、GZip、Hadoop 互換 Snappy、Zip、Snappy など、一般的な圧縮アルゴリズムがサポートされています。バッチ設定とアップロード前のデータ圧縮により、送信先での新規データ受信のスピードを制御できます。

データスループットの変動に対応する伸縮自在なスケーリング

配信ストリームは、いったん起動されると自動的にスケーリングされ、1 秒あたり数ギガバイトを超える入力データレートにも対応します。データレイテンシーは、制限の範囲内で、お客様がストリームに指定したレベルに維持されます。手作業での介入やメンテナンスは不要です。

組み込みデータ形式変換のサポート

Amazon Athena、Amazon Redshift Spectrum、Amazon EMR、およびその他の Hadoop ベースツールなどのサービスを使用して、Apache Parquet や Apache ORC などの列指向データ形式が、コスト効率のよいストレージや分析に最適化されます。Amazon Kinesis Data Firehose では、データを Amazon S3 に保存する前に、入力データの形式を JSON から Parquet または ORC 形式に変換できるため、ストレージと分析のコストを削減できます。 詳細 »

統合されたデータ変換

Amazon Kinesis Data Firehose では、データストアにロードする前にストリーミングデータを準備するよう設定できます。設定するには、AWS マネジメントコンソールの Amazon Kinesis Data Firehose 配信ストリーム設定タブから、AWS Lambda 関数を選択します。この関数は、Amazon Kinesis Data Firehose で自動的にすべての入力データレコードに適用されます。その後、変換されたデータが送信先にロードされます。Amazon Kinesis Data Firehose では、事前に構築された Lambda 設計図が提供されます。この設計図を使用して、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換できます。これら事前に構築された設計図は、そのまま使うことも、カスタマイズを加えることもできます。独自のカスタム関数を記述することも可能です。また、失敗したジョブを自動的に再試行し、生のストリーミングデータをバックアップするよう Amazon Kinesis Data Firehose を設定することもできます。詳細はこちら »

複数のデータ送信先をサポート

Amazon Kinesis Data Firehose で現在サポートされている送信先は、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、HTTP エンドポイント、Datadog、New Relic、MongoDB、Splunk です。データをロードする送信先として、Amazon S3 バケット、Amazon Redshift テーブル、Amazon Elasticsearch Service、汎用 HTTP エンドポイント、またはサービスプロバイダーを指定できます。

自動暗号化オプション

Amazon Kinesis Data Firehose には、送信先にアップロードされたデータを自動的に暗号化するオプションが用意されています。配信ストリーム設定の一部として、AWS Key Management System (KMS) 暗号化キーを指定できます。

パフォーマンスのモニタリング用メトリクス

Amazon Kinesis Data Firehose では、コンソールや Amazon CloudWatch からいくつかのメトリクスを参照できます。これには送信されたデータ量、送信先にアップロードされたデータ量、送信元から送信先までの時間、配信ストリーム制限、調整された記録の数、アップロード成功率などが含まれます。これらのメトリクスによって、配信ストリームの状態をモニタリングし、必要に応じて送信先の変更や制限に近づいた際のアラーム設定などといったアクションを実行して、データが正しく処理されてから送信先にロードされるようにできます。

従量制の料金体系

Amazon Kinesis Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。該当する場合、Amazon VPC 配信およびデータ転送に対しても料金が発生します。最低料金や前払いの義務はありません。インフラストラクチャのオペレーション、スケーリング、メンテナンスのためのスタッフは不要ですし、ストリーミングデータのキャプチャやロードのためのカスタムアプリケーションも不要です。

Amazon Kinesis Data Firehose の料金の詳細

料金ページを見る
始める準備はできましたか?
サインアップ
ご不明な点がおありですか?
お問い合わせ