Veröffentlicht am: Aug 31, 2021
Heute haben wir die dynamische Partitionierung in Amazon Kinesis Data Firehose angekündigt. Mit der dynamischen Partitionierung können Sie Streaming-Daten in Kinesis Data Firehose kontinuierlich unter Verwendung von Schlüsseln in Daten wie „customer_id“ oder „transaction_id“ partitionieren und nach diesen Schlüsseln gruppierte Daten in entsprechende Amazon-Simple-Storage-Service-(Amazon-S3)-Präfixe bereitstellen, um es für Sie einfacher zu machen, leistungsstarke, kosteneffiziente Analysen von Streaming-Daten in Amazon S3 mit Amazon Athena, Amazon EMR und Amazon Redshift Spectrum durchzuführen.
Die Partitionierung Ihrer Daten minimiert die Menge der gescannten Daten, optimiert die Leistung und senkt die Kosten Ihrer Analyse-Abfragen in Amazon S3 und erhöht den detaillierten Zugriff auf Daten. Traditionell verwenden Kunden Kinesis-Data-Firehose-Bereitstellungsdatenstroms, um ihre Datenströme zu erfassen und in Amazon S3 zu laden. Um einen Streaming-Datensatz für Amazon-S3-basierte Analysen zu partitionieren, müssten Kunden Partitionierungsanwendungen zwischen Amazon-S3-Buckets ausführen, bevor sie die Daten für die Analyse zur Verfügung stellen, was kompliziert oder kostspielig werden könnte.
Mit der dynamischen Partitionierung gruppiert Kinesis Data Firehose jetzt kontinuierlich Daten während der Übertragung nach dynamisch oder statisch definierten Datenschlüsseln und liefert sie nach Schlüsseln an einzelne Amazon-S3-Präfixe. Dadurch wird die Zeit bis zur Erkenntnis um Minuten oder Stunden verkürzt, Kosten werden gesenkt und Architekturen vereinfacht. Zusammen mit den Formatkonvertierungsfunktionen von Apache Parquet und Apache ORC macht diese Funktion Kinesis Data Firehose zum besten Ort, um Analyse-fähige Streaming-Daten zu erfassen, vorzubereiten und in Amazon S3 zu laden.
Rufen Sie das Benutzerhandbuch zu Kinesis Data Firehose auf, um mit der dynamischen Partitionierung zu beginnen, oder besuchen Sie die Preisseite, um weitere Informationen über die On-Demand-Preise für die dynamische Partitionierung zu erhalten. Die dynamische Partitionierung kann in allen kommerziellen AWS-Regionen verwendet werden, in denen Kinesis Data Firehose verfügbar ist.