投稿日: Oct 13, 2021
Amazon Virtual Public Cloud (VPC) は、Amazon VPC フローログの保存と分析の実行を、より速く、より簡単に、よりコスト効率よく行うための 3 つの新機能を導入します。まず、VPC フローログは、Apache Parquet ファイル形式で Amazon S3 に配信できるようになりました。2 つ目は、Hive と互換性のある接頭辞をつけて S3 に保存できることです。そして 3 つ目は、VPC フローログを 1 時間ごとに分割されたファイルとして配信できることです。これらの機能はすべて、VPC フローログの保存先として S3 を選択した場合に利用できます。
Apache Parquet フォーマットで保存された VPC フローログへのクエリは、Parquet ファイルのコンパクトなカラム形式により、より効率的です。また、Amazon Athena や Amazon Elastic Map Reduce(EMR) などのツールを使用すると、Parquet ファイルを使用することで、クエリの実行速度が速くなり、スキャンするデータ量も少なくて済むため、クエリコストを削減することができます。Parquet 形式のファイルの圧縮率が向上するため、S3 のストレージコストを最大 25％ 削減でき、Apache Parquet 変換アプリケーションを構築・管理する必要もありません。また、Hive と互換性のある接頭辞により、新しいデータを発見して Hive ツールにロードすることが容易になり、時間ごとに分割されたログファイルにより、特定の時間間隔でログを照会することがより効率的になります。
まず、S3 を配信先とする新しい VPC フローログサブスクリプションを作成し、配信オプションとして Parquet 形式、Hive 互換のプレフィックス、および/または 1 時間ごとに分割されたファイルを指定します。この機能は、Amazon Web Services Management Console、Amazon Command Line Interface (Amazon CLI)、Amazon Software Development Kit (Amazon SDK) を通じて利用できます。詳しくは、ドキュメントやブログ記事をご参照ください。VPC フローログのApache Parquet フォーマットでのログ配信の価格については、CloudWatch Logs の料金ページを参照してください。