Amazon Kinesis Data Firehose

リアルタイムのデータストリームを準備し、データストアや分析ツールにロード

Amazon Kinesis Data Firehose は、ストリーミングデータをデータストアや分析ツールに確実にロードする最も簡単な方法です。ストリーミングデータをキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk にロードして、現在お使いのビジネスインテリジェンスツールやダッシュボードでほぼリアルタイムに分析できます。完全マネージド型サービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータのバッチ処理、圧縮、変換、暗号化が行われるため、送信先でのストレージ量を最小化し、セキュリティを強化できます。

AWS マネジメントコンソールから Firehose デリバリーストリームを簡単に作成して、数回のクリックで設定すれば、数十万のデータソースからストリームにデータ送信を開始して、AWS に継続的にロードできます。これらすべてに要する時間はわずか数分です。 また、受信データが Amazon S3 に配信される前に Apache Parquet や Apache ORC などの列指向形式に変換されるようにデリバリーストリームを設定すれば、コスト効率の良い方法で保存および分析できます。

Kinesis Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。最低料金や初期費用はありません。

Amazon Kinesis Data Firehose の紹介 (日本語字幕) (1:45)

メリット

使いやすさ

Amazon Kinesis Data Firehose を使用すると、AWS マネジメントコンソールからわずか数回のクリックで、簡単にストリーミングデータをキャプチャ、変換、ロードできます。Firehose デリバリーストリームを作成し、ロード先を選択するだけで、数十万のデータソースから同時にリアルタイムデータの送信を開始できます。このサービスでは、スケーリング、シャーディング、モニタリングなど、データを指定された間隔で継続的にデスティネーションにロードするためのストリーム管理全般が提供されます。

AWS データストアとの統合

Amazon Kinesis Data Firehose は Amazon S3、Amazon Redshift、Amazon Elasticsearch Service と統合されています。AWS マネジメントコンソールから、Kinesis Data Firehose のロード先として Amazon S3 バケット、Amazon Redshift テーブル、または Amazon Elasticsearch ドメインを指定できます。その後、既存の分析アプリケーションやツールを使用して、ストリーミングデータを分析できます。

サーバーレスのデータ変換

Amazon Kinesis Data Firehose では、データストアにロードする前にストリーミングデータを準備できます。Kinesis Data Firehose を使用することで、データソースからの生のストリーミングデータを送信先のデータストアで必要なフォーマットに簡単に変換できます。独自のデータ処理パイプラインを構築する必要はありません。詳細はこちら »

ほぼリアルタイム

Amazon Kinesis Data Firehose では、ほぼリアルタイムでデータのキャプチャやロードが行われます。新しいデータが Amazon Kinesis Data Firehose に送信されると、60 秒以内に Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk にロードされます。そのため、新しいデータを短時間で入手し、ビジネスや運用に関係する状況に迅速に対応できます。

継続的な管理が不要

Amazon Kinesis Data Firehose は、ストリーミングデータのロードに必要なコンピューティング、メモリ、ネットワークリソースのプロビジョニング、管理、スケーリングが自動的に実行される完全マネージド型サービスです。一度設定が完了すると、Kinesis Data Firehose に送信されたデータは継続的にロードされます。

実際に使用した分のみ料金が発生

Amazon Kinesis Data Firehose をご利用いただく場合、同サービスを使用して送信したデータ量、該当する場合はデータ形式の変換に対してのみ料金が発生します。最低料金や初期費用は不要です。

仕組み

diagram-how-it-works-kinesis-data-firehose-splunk

ユースケース

IoT 分析

Amazon Kinesis Data Firehose では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといった接続機器から継続的にデータをキャプチャできます。Kinesis Data Firehose ではデータが Amazon S3 と Amazon Redshift にロードされるため、顧客はほぼリアルタイムでメトリクス、インサイト、ダッシュボードにアクセスできます。


クリックストリーム分析

Amazon Kinesis Data Firehose を使用すると、デジタルコンテンツのリアルタイムのメトリクスを配信でき、作成者やマーケティング担当者と消費者を最も効果的な方法で結びつけることができます。圧縮、暗号化して、Amazon Elasticsearch Service や Amazon Redshift に配信された何十億件もの小さなメッセージをストリーミングできます。ここから、取り込んだデータに対して集計、フィルタリング、処理を行い、ほぼリアルタイムでコンテンツのパフォーマンスダッシュボードを更新できます。例えば、Hearst Corporation では、Kinesis Data Firehose を使用して、世界中の 300 を超える Hearst のウェブサイトから 1 日 30 テラバイトのデータを送信および処理するクリックストリーム分析プラットフォームを構築しました。このプラットフォームにより、Hearst の編集者は、ウェブサイトのクリックから集約指標まで、データストリーム全体を数分以内で利用できます。導入事例を読む »


ログ分析

クラウドとオンプレミスで実行中のアプリケーションとサーバーからデータをロギングすると、アプリケーションのモニタリングに役立ち、問題のトラブルシューティングを素早くできます。例えば、アプリケーションエラーが発生するときをとらえて、ログデータを収集、モニター、分析し、根本原因を特定できます。Amazon Kinesis Agent はお使いのサーバーに容易にインストール、設定でき、アプリケーションとサーバーログファイルを自動的に監視して、データを Kinesis Data Firehose に送信します。Kinesis Data Firehose はログデータを継続的に Amazon Elasticsearch Service にストリーミングしますので、Kibana でデータを可視化、分析できます。 


セキュリティモニタリング

Kinesis Data Firehose は送信先として Splunk をサポートします。このことは、ネットワークのトラフィックフローログをキャプチャし、Kinesis Data Firehose に送信して、データはここで変換、情報を豊かにされ、Splunk にロードされます。このソリューションでは、ネットワークのセキュリティをリアルタイムでモニターでき、脅威となる可能性があるものが発生するとアラートを発生できます。

Amazon Kinesis Data Firehose の使用を開始する

icon1

AWS アカウントにサインアップする

AWS 無料利用枠にすぐにアクセスできます
icon2

開発者ガイドを確認

Kinesis Data Firehose について 開発者ガイドで学ぶ。
icon3

データストリーミングの開始

この チュートリアルでハンズオン経験を積んでください。

Amazon Kinesis Data Firehose の特徴の詳細

特徴のページにアクセスする
始める準備はできましたか?
サインアップ
ご不明な点がありますか?
お問い合わせ