Veröffentlicht am: Oct 13, 2021
Amazon Virtual Public Cloud (VPC) führt drei neue Funktionen ein, die das Speichern und Ausführen von Analytiken in Ihren Amazon VPC Flow Logs schneller, einfacher und kostengünstiger machen. Erstens können VPC-Flow-Protokolle jetzt im Apache-Parquet-Dateiformat an Amazon S3 geliefert werden. Zweitens können sie in S3 mit Hive-kompatiblen Präfixen gespeichert werden. Und drittens können Ihre VPC-Flow-Protokolle als stündlich partitionierte Dateien bereitgestellt werden. Alle diese Funktionen sind verfügbar, wenn Sie S3 als Ziel für Ihre VPC-Flow-Protokolle auswählen.
Abfragen von im Apache Parquet-Format gespeicherten VPC-Flow-Protokollen sind aufgrund des kompakten, spaltenförmigen Formats der Parquet-Dateien effizienter. Außerdem können Sie mit Tools wie Amazon Athena und Amazon Elastic Map Reduce (EMR) Abfragekosten sparen, da Ihre Abfragen schneller ausgeführt werden und ein geringeres Datenvolumen mithilfe von Parquet-Dateien scannen müssen. Aufgrund der besseren Komprimierung der Parquet-formatierten Dateien können Sie bis zu 25 % der S3-Speicherkosten einsparen und die Erstellung und Verwaltung einer Apache Parquet-Konvertierungsanwendung überflüssig machen. Die Hive-kompatiblen Präfixe erleichtern das Auffinden und Laden neuer Daten in Ihre Hive-Tools, und stundenweise partitionierte Protokolldateien machen es effizienter, Protokolle über bestimmte Zeitintervalle abzufragen.
Erstellen Sie als Erstes ein neues VPC-Flow-Protokoll-Abonnement mit S3 als Ziel und geben Sie Lieferoptionen im Parquet-Format, Hive-kompatible Präfixe und/oder stündlich partitionierte Dateien an. Diese Funktionalität ist über die Amazon-Web-Services-Management-Konsole, das Amazon Command Line Interface (Amazon CLI) und das Amazon Software Development Kit (Amazon SDK) verfügbar. Weitere Informationen finden Sie in der Dokumentation und im Blogbeitrag. Auf der Seite mit der Preisliste für CloudWatch-Protokolle finden Sie die Preise für die Protokollbereitstellung im Apache Parquet-Format für VPC-Flow-Protokolle.