Amazon Kinesis Data Streams kündigt Streaming-Tabellen an, die Daten an Apache-Iceberg-Tabellen auf Amazon S3 Tables bereitstellen
Amazon Kinesis Data Streams führt Streaming-Tabellen ein, eine neue vollständig Serverless-Funktion, die kontinuierlich Daten aus Kinesis-Streams an Amazon S3 Tables im Apache-Iceberg-Format bereitstellt. Streaming-Tabellen machen es überflüssig, selbstverwaltete Iceberg-Bereitstellungspipelines zu erstellen und zu betreiben, und reduzieren die Datenbereitstellungskosten um bis zu 50 %. Intelligente Inline-Kompaktierung beseitigt das Small-File-Problem und hält die Abfrage-Performance vorhersehbar, wodurch nachgelagerte Abfragekosten um bis zu 30 % reduziert werden.
Amazon Kinesis Data Streams ist ein Serverless-Streaming-Datenservice, der das Erfassen, Verarbeiten und Speichern von Datenströmen in jeder Größenordnung vereinfacht. Kunden möchten Streaming-Daten zunehmend an Apache-Iceberg-Tabellen bereitstellen, um nahezu Echtzeit-Analysen und KI/ML-Feature-Pipelines mit den aktuellsten Daten zu unterstützen. Dazu erstellen und verwalten Kunden heute benutzerdefinierte Pipelines, kümmern sich um Formatkonvertierungen und verwalten Compute-Infrastruktur, was ihre Kosten erhöht. Die Aufnahme großer Streaming-Datenmengen erzeugt außerdem viele kleine Parquet-Dateien, die die nachgelagerte Abfrage-Performance beeinträchtigen und Speicherkosten erhöhen. Mit Streaming-Tabellen erstellen Kunden einfach eine Streaming-Tabelle, eine Serverless-Funktion, die kontinuierlich Daten aus einem Kinesis-Stream an Amazon S3 Tables bereitstellt. Intelligente Inline-Kompaktierung beseitigt die Performanceauswirkungen kleiner Dateien und hält die Abfrage-Performance vorhersehbar, ohne die Datenaktualität zu beeinträchtigen. Kinesis Data Streams übernimmt Skalierung, Wiederholungen, Kompaktierung und Bereitstellungszuverlässigkeit automatisch und liefert innerhalb weniger Minuten, ohne benutzerdefinierte Anwendungen, ohne selbstverwalteten Compute und ohne betrieblichen Aufwand. Kunden konfigurieren Streaming-Tabellen mit wenigen Klicks in der Konsole als integrierte Erfahrung oder über APIs.
Streaming-Tabellen unterstützen die Kapazitätsmodi On Demand Advantage (ODA) und On Demand Standard (ODS) mit nutzungsbasierter Preisgestaltung, ohne Einrichtungsgebühren oder Mindestverpflichtungen. Ihnen werden nur erfolgreich bereitgestellte Daten berechnet. Streaming-Tabellen sind in allen AWS-Regionen verfügbar, in denen Amazon Kinesis Data Streams verfügbar ist, einschließlich AWS GovCloud (USA) und China-Regionen. Informationen zum Einstieg finden Sie im Benutzerhandbuch zu Amazon Kinesis Data Streams und auf der Preisseite.