Amazon Kinesis Data Firehose

リアルタイムのデータストリームを準備し、データストアや分析サービスにロード

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクやデータストア、分析サービスに確実にロードする最も簡単な方法を提供するサービスです。ストリーミングデータを取り込んで変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、汎用 HTTP エンドポイント、さらに Datadog、New Relic、MongoDB、Splunk のようなサービスプロバイダーに配信できます。フルマネージドサービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータストリームのバッチ処理、圧縮、変換、暗号化が行われるため、使用されるストレージの量を最小限に抑え、セキュリティを強化できます。

AWS マネジメントコンソールから Firehose の配信ストリームを簡単に作成し、数回のクリックで設定を行い、数十万のデータソースから指定した送信先へのストリーミングデータの取り込みを開始できます。また、受信データが配信される前に Apache Parquet や Apache ORC などのオープンで標準ベースの形式に自動的に変換されるようにデータストリームを設定できます。

Amazon Kinesis Data Firehose には、最低料金も初期費用もありません。サービスを使用して送信したデータ量、該当する場合はデータ形式の変換、Amazon VPC 配信とデータ転送に対してのみ料金が発生します。

PoC (概念実証) または評価に関するサポートをリクエスト »

Amazon Kinesis Data Firehose の紹介 (日本語字幕) (1:45)

利点

使いやすさ

Amazon Kinesis Data Firehose を使用すると、AWS マネジメントコンソールからわずか数回のクリックで、簡単にストリーミングデータをキャプチャ、変換、ロードできます。Firehose の配信ストリームをすばやく作成し、ロード先を選択するだけで、数十万のデータソースから同時にリアルタイムデータの送信を開始できます。このサービスでは、スケーリング、シャーディング、モニタリングなど、データを指定された間隔で継続的に送信先にロードするためのストリーム管理全般が提供されます。

AWS のサービスとサービスプロバイダーと統合

Amazon Kinesis Data Firehose は Amazon S3、Amazon Redshift、Amazon Elasticsearch Service と統合されています。汎用 HTTP エンドポイントや、Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーに直接データを配信することもできます。AWS マネジメントコンソールから、Kinesis Data Firehose の任意のロード先を指定したり、既存のアプリケーションとツールを使用してストリーミングデータを分析したりできます。

サーバーレスのデータ変換

Amazon Kinesis Data Firehose では、データストアにロードする前にストリーミングデータを準備できます。Kinesis Data Firehose を使用することで、データソースからの raw ストリーミングデータを送信先のデータストアで必要な形式 (Apache Parquet、Apache ORC など) に簡単に変換できます。独自のデータ処理パイプラインを構築する必要はありません。詳細はこちら »

ほぼリアルタイム

Amazon Kinesis Data Firehose では、ほぼリアルタイムでデータのキャプチャやロードが行われます。このサービスでは、新しいデータが Amazon Kinesis Firehose に送信されてから 60 秒以内に、送信先にロードされます。そのため、新しいデータを短時間で入手し、ビジネスや運用に関係する状況に迅速に対応できます。

継続的な管理が不要

Amazon Kinesis Data Firehose は、ストリーミングデータの処理やロードに必要なコンピューティング、メモリ、ネットワークリソースのプロビジョニング、管理、スケーリングが自動的に実行されるフルマネージドサービスです。一度設定が完了すると、Kinesis Data Firehose に送信されたデータストリームは継続的に送信先にロードされます。

支払いは実際に使用した分のみ

Amazon Kinesis Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。該当する場合、Amazon VPC 配信およびデータ転送に対しても料金が発生します。最低料金や前払いの義務はありません。

仕組み

ユースケース

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクやデータストア、分析ツールに確実にロードする最も簡単な方法を提供するサービスです。以下に、お客様が実際に Amazon Kinesis Firehose を利用している主なユースケースの例をご紹介します。

IoT 分析

Amazon Kinesis Data Firehose では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといった接続機器から継続的にデータをキャプチャできます。Kinesis Data Firehose ではデータが指定の送信先にロードされるため、ほぼリアルタイムでメトリクス、インサイト、ダッシュボードにアクセスできます。

クリックストリーム分析

Amazon Kinesis Data Firehose を使用すると、リアルタイムのクリックストリームデータを取り込んで、マーケティング担当者と消費者を最も効果的な方法で結び付けることができます。無数の小さなメッセージを圧縮、暗号化して、送信先にストリーム配信できます。ここから、取り込んだデータに対して集計、フィルタリング、処理を行い、ほぼリアルタイムでコンテンツのパフォーマンスダッシュボードを更新できます。

ログ分析

アプリケーションエラーが発生するときをとらえて、ログデータを収集、モニタリング、分析し、根本原因を特定できます。Amazon Kinesis Agent はお使いのサーバーに容易にインストール、設定でき、アプリケーションとサーバーログファイルを自動的に監視して、データを Kinesis Data Firehose に送信します。Kinesis Data Firehose ではログデータを継続的に送信先にストリーミングするので、データを可視化、分析できます。

セキュリティモニタリング

Kinesis Data Firehose は送信先として Splunk をサポートします。これにより、ネットワークのトラフィックフローログをキャプチャし、Kinesis Data Firehose に送信します。データはここで変換、強化され、Splunk にロードされます。このソリューションでは、ネットワークのセキュリティをリアルタイムでモニタリングでき、脅威となる可能性があるものが発生するとアラートを通知できます。