Amazon Data Firehose は、ストリーミングデータをデータストアや分析ツールにロードする最も簡単な方法です。Data Firehose は、フルマネージドサービスです。このサービスでは数十万ものソースからの膨大なボリュームのストリーミングデータを簡単にキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon OpenSearch Service、Kinesis Data Analytics、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにロードできます。データをほぼリアルタイムで分析し、深いインサイトを得ることが可能です。

Firehose ストリーム

Firehose ストリームは Firehose の基盤となるエンティティです。Firehoseを使用するには、Firehoseストリームを作成し、そこにデータを送信します。

主な特徴

起動と設定が簡単

Amazon Data Firehoseを起動してFirehoseストリームを作成し、AWS マネジメントコンソールで数回クリックするだけで、Amazon S3、Amazon Redshift、Amazon OpenSearch Service、Snowflake、Splunk、HTTPエンドポイント、Datadog、New Relic、またはMongoDBにデータを配信できます。ストリームへのデータ送信は、Firehose API の呼び出しによって、またはデータソースに当社が提供する Linux エージェントを実行することにより行われます。その後、Firehoseは指定された宛先に継続的にデータを配信します。

ほぼリアルタイムの新規データのロード

データを送信先にアップロードするスピードを制御するために、バッチサイズまたはバッチ間隔を指定できます。例えば、 Firehose ストリームへの送信の 60 秒以内の新しいデータを受信したい場合、バッチ間隔を 60 秒に設定します。また、データを圧縮するかどうかも指定できます。このサービスでは、GZip、Hadoop 互換 Snappy、Zip、Snappy など、一般的な圧縮アルゴリズムがサポートされています。バッチ設定とアップロード前のデータ圧縮により、送信先での新規データ受信のスピードを制御できます。

データスループットの変動に対応する伸縮自在なスケーリング

一度起動すると、Firehoseストリームは自動的にスケールアップ/スケールダウンして、ギガバイト/秒以上の入力データレートを処理し、ストリームに指定したレベルのデータレイテンシーを制限内で維持します。手作業での介入やメンテナンスは不要です。

Amazon MSK および Firehose ストリームとの統合

Firehose は、既存の Amazon MSK クラスターまたは既存の Firehose ストリームからデータを簡単に読み取り、複数の宛先にロードできます。

Apache Parquet または ORC 形式の変換

Firehose は、Amazon Athena、Amazon Redshift Spectrum、Amazon EMR、およびその他の Hadoop ベースツールなどのサービスを使用して、Apache Parquet や Apache ORC などの列指向データ形式が、コスト効率のよいストレージや分析に最適化するのをサポートします。Firehose では、データを Amazon S3 に保存する前に、入力データの形式を JSON から Parquet または ORC 形式に変換できるため、ストレージと分析のコストを削減できます。

パーティションデータを S3 に配信する

S3 に配信する前に、"customer_id " や "transaction_id " などの静的または動的に定義されたキーを使用して、ストリーミングデータを動的にパーティションします。  Firehose は、これらのキーによってデータをグループ化し、キーに固有の S3 プレフィックスに配信することで、Athena、EMR、Redshift Spectrum を使用した S3 でのハイパフォーマンスでコスト効率の高い分析を容易に行うことができます。 詳細はこちら »

統合されたデータ変換

Amazon Data Firehose では、データストアにロードする前にストリーミングデータを準備するよう設定できます。設定するには、AWS マネジメントコンソールの Amazon Data Firehose ストリーム設定タブから、AWS Lambda 関数を選択します。 この関数は、Amazon Data Firehose で自動的にすべての入力データレコードに適用されます。その後、変換されたデータが送信先にロードされます。 Amazon Data Firehose では、事前に構築された Lambda 設計図が提供されます。この設計図を使用して、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換できます。これら事前に構築された設計図は、そのまま使うことも、カスタマイズを加えることもできます。独自のカスタム関数を記述することも可能です。また、失敗したジョブを自動的に再試行し、生のストリーミングデータをバックアップするよう Amazon Data Firehose を設定することもできます。 詳細はこちら »

複数のデータ送信先をサポート

Amazon Data Firehose で現在サポートされている送信先は、Amazon S3、Amazon Redshift、Amazon OpenSearch Service、HTTP エンドポイント、Datadog、New Relic、MongoDB、Splunk です。データをロードする送信先として、Amazon S3 バケット、Amazon Redshift テーブル、Amazon OpenSearch Service ドメイン、汎用 HTTP エンドポイント、またはサービスプロバイダーを指定できます。

自動暗号化オプション

Amazon Data Firehose には、送信先にアップロードされたデータを自動的に暗号化するオプションが用意されています。Firehose ストリーム設定の一部として、AWS Key Management System (KMS) 暗号化キーを指定できます。

パフォーマンスのモニタリング用メトリクス

Amazon Data Firehose では、コンソールや Amazon CloudWatch からいくつかのメトリクスを参照できます。これには送信されたデータ量、送信先にアップロードされたデータ量、送信元から送信先までの時間、Firehose ストリーム制限、調整された記録の数、アップロード成功率などが含まれます。

従量制の料金体系

Amazon Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。該当する場合、Amazon VPC 配信およびデータ転送に対しても料金が発生します。最低料金や前払いの義務はありません。インフラストラクチャのオペレーション、スケーリング、メンテナンスのためのスタッフは不要ですし、ストリーミングデータのキャプチャやロードのためのカスタムアプリケーションも不要です。

Amazon Data Firehose の料金について詳細をご覧ください

料金ページにアクセスする
始める準備はできましたか?
サインアップ
ご不明な点がおありですか?
お問い合わせ