Amazon Kinesis Data Firehose は、ストリーミングデータをデータストアや分析ツールにロードする最も簡単な方法です。Kinesis Data Firehose は、フルマネージド型のサービスです。このサービスでは数十万ものソースからの膨大なボリュームのストリーミングデータを簡単にキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics、Splunk にロードできます。データをほぼリアルタイムで分析し、深い理解を得ることができます。

Kinesis データ配信ストリーム

Kinesis データ配信ストリームは Kinesis Data Firehose の基盤となるエンティティです。Kinesis データ配信ストリームを作成し、そこにデータを送信することにより、Kinesis Data Firehose を利用できます。

主な特長

起動と設定が簡単

AWS マネジメントコンソールからわずか数回のクリックで Amazon Kinesis Data Firehose を起動し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk にデータをロードする配信ストリームを作成できます。配信ストリームへのデータ送信は、Firehose API の呼び出し、または AWS がデータソースで提供する Linux エージェントの実行により行うことができます。これにより、Kinesis Data Firehose から Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk への継続的なデータのロードが行われるようになります。

ほぼリアルタイムの新規データのロード

データを送信先にアップロードするスピードを制御するために、バッチサイズまたはバッチ間隔を指定できます。例えば、配信ストリームへの送信の 60 秒以内の新しいデータを受信したい場合、バッチ間隔を 60 秒に設定します。また、データを圧縮するかどうかも指定できます。このサービスでは、GZip や Snappy といった一般的な圧縮アルゴリズムがサポートされています。バッチ設定とアップロード前のデータ圧縮により、送信先での新規データ受信のスピードを制御できます。

データスループットの変動に対応する伸縮自在なスケーリング

配信ストリームは、いったん起動されると自動的にスケーリングされ、1 秒あたり数ギガバイトを超える入力データレートにも対応し、データレイテンシーはお客様がストリームに指定したレベルに維持されます。手作業での介入やメンテナンスは不要です。

組み込みデータ形式変換のサポート

Amazon Athena、Amazon Redshift Spectrum、Amazon EMR、およびその他の Hadoop ベースツールなどのサービスを使用して、Apache Parquet や Apache ORC などの列指向データ形式が、コスト効率のよいストレージや分析に最適化されます。Amazon Kinesis Data Firehose では、データを Amazon S3 に保存する前に、入力データの形式を JSON から Parquet または ORC 形式に変換できるため、ストレージと分析のコストを削減できます。 詳細 »

統合されたデータ変換

Amazon Kinesis Data Firehose では、データストアにロードする前にストリーミングデータを準備するよう設定できます。設定するには、AWS マネジメントコンソールの Amazon Kinesis Data Firehose 配信ストリーム設定タブから、AWS Lambda 関数を選択します。この関数は、Amazon Kinesis Data Firehose で自動的にすべての入力データレコードに適用されます。その後、変換されたデータが送信先にロードされます。Amazon Kinesis Data Firehose では、事前に構築された Lambda 設計図が提供されます。この設計図を使用して、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換できます。これら事前に構築された設計図は、そのまま使うことも、カスタマイズを加えることもできます。独自のカスタム関数を記述することも可能です。また、失敗したジョブを自動的に再試行し、生のストリーミングデータをバックアップするよう Amazon Kinesis Data Firehose を設定することもできます。詳細 »

複数のデータ送信先をサポート

Amazon Kinesis Data Firehose で現在サポートされている送信先は、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk です。データをロードする送信先として、Amazon S3 バケット、Amazon Redshift テーブル、Amazon Elasticsearch ドメイン、または Splunk クラスターを指定できます。

自動暗号化オプション

Amazon Kinesis Data Firehose には、送信先にアップロードされたデータを自動的に暗号化するオプションが用意されています。配信ストリーム設定の一部として、AWS Key Management System (KMS) 暗号化キーを指定できます。

パフォーマンスのモニタリング用メトリクス

Amazon Kinesis Data Firehose では、コンソールや Amazon CloudWatch からいくつかのメトリクスを参照できます。これには送信されたデータ量、送信先にアップロードされたデータ量、送信元から送信先までの時間、アップロード成功率などが含まれます。これらのメトリクスによって、配信ストリームの状態をモニタリングし、必要に応じて送信先変更などのアクションを実行して、データが正しく処理されてから送信先にロードされるようにできます。

従量制の料金体系

Amazon Kinesis Data Firehose では、このサービスを使って送信するデータ量に対してのみ、料金をお支払いいただきます。最低料金や前払いの義務はありません。インフラストラクチャのオペレーション、スケーリング、メンテナンスのためのスタッフは不要ですし、ストリーミングデータのキャプチャやロードのためのカスタムアプリケーションも不要です。

Amazon Kinesis Data Firehose の料金の詳細

料金ページを見る
始める準備はできましたか?
サインアップ
ご不明な点がおありですか?
お問い合わせ