投稿日: Dec 21, 2016
Amazon Kinesis Firehose では、データストアにロードする前にストリーミングデータを準備する設定が可能になりました。この新機能により、お客様独自のデータ処理パイプラインを構築することなく、データソースから送信先データストアで必要な形式に raw ストリーミングデータを簡単に変換することができます。
この機能を使用するには、AWS マネジメントコンソールの Amazon Kinesis Firehose 配信ストリームの設定タブで、AWS Lambda 関数を選択するだけです。Amazon Kinesis Firehose は自動的にその関数を各入力データレコードに適用し、変換されたデータを送信先にロードします。
Amazon Kinesis Firehose は、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換するための、組み込みの Lambda 設計図を提供します。これらの組み込みの設計図は、変更することなく使うか、さらにカスタマイズできます。お客様独自のカスタム関数を記述することもできます。また、失敗したジョブを自動的に再試行し、raw ストリーミングデータをバックアップするように Amazon Kinesis Firehose を設定できます。
この機能の詳細については、Amazon Kinesis Firehose 開発者ガイドの「データの変換」を参照してください。
Amazon Kinesis Firehose は、ストリーミングデータを Amazon Elasticsearch Service、Amazon Redshift、Amazon Kinesis Analytics、および Amazon S3 にロードするための最も簡単な方法です。Amazon Kinesis Firehose の使用を開始するには、AWS マネジメントコンソールにサインインします。Amazon Kinesis Firehose の詳細については、当社のウェブサイトを参照してください。