Ältere Datenformate wurden nicht für KI entwickelt.
Machen Sie Ihre Daten agententauglich mit AWS Support für Apache Iceberg über den gesamten Daten und KI Stack hinweg.
Stellen Sie Ihren Agenten eine zentrale, offene Informationsquelle zur Verfügung
KI-Agenten benötigen einen kontrollierten Zugriff auf Daten, die über Data Lakes, Datenbanken und Anwendungen verteilt sind. Ohne eine einheitliche Datengrundlage sind Datenteams letztendlich damit beschäftigt, Kopien zu verwalten, maßgeschneiderte Pipelines aufzubauen und damit die KI-Initiativen zu verlangsamen, die auf zuverlässigen Daten beruhen.
Aus diesem Grund wenden sich Unternehmen wie Comcast, Indeed und Vanguard
an AWS, um die Zuverlässigkeit und Interoperabilität all ihrer Daten zu gewährleisten. Mit der umfassendsten nativen Apache Iceberg-Unterstützung aller großen Cloud-Anbieter – die Speicher, Streaming, ETL, Katalogisierung und Analytik umfasst – ermöglicht AWS, dass jede Engine und jeder Agent auf dieselben vertrauenswürdigen Daten zugreifen kann, sodass Teams ihre Architektur vereinfachen und KI-Lösungen schneller bereitstellen können.
Warum Apache Iceberg?
Funktionen wie ACID-Transaktionen, Schemaentwicklung, Snapshot-Isolation und integrierte Zeitreise stellen sicher, dass jede Abfrage eine vollständige und konsistente Ansicht Ihrer Daten liefert.
Mit Iceberg können Sie bei sich änderndem Bedarf Schemas flexibel weiterentwickeln und Partitionierungsstrategien ändern. Und da es sich bei Iceberg um ein zu 100 % von der Community vorangebrachtes Open-Source-Tabellenformat handelt, ist Iceberg nicht an die Roadmap eines einzelnen Anbieters gebunden.
Konsolidieren Sie Workloads auf einer einzigen Kopie verwalteter Daten, eliminieren Sie redundante ETL-Pipelines und reduzieren Sie die Kosten für Speicher, indem Sie doppelte Datensätze in voneinander isolierten Systemen entfernen.
Dank Iceberg mit nativer Unterstützung über gängige Frameworks wie Apache Spark, Apache Flink und Presto hinweg können Sie das für die jeweilige Aufgabe leistungsstärkste Tool auswählen.
Warum sollte man sich für AWS für Apache Iceberg entscheiden?
Amazon S3 speichert Daten in Ihrem eigenen Konto, und das in offenen Formaten, auf die jede kompatible Engine zugreifen kann. Sie wissen genau, wo sich Ihre Daten befinden. Anhand einer detaillierten Protokollierung einzelner Anforderungen können Sie Zugriffsmuster nachvollziehen. Zudem beibehalten Sie zu jeder Zeit die vollständige Eigentümerschaft bei. Amazon S3 bietet branchenführende Langlebigkeit, Verfügbarkeit, Sicherheit und Performance, während Sie die volle Kontrolle und Transparenz beibehalten.
Weitere Informationen über das Erstellen von Data Lakes in Amazon S3
Apache Iceberg sorgt für Zuverlässigkeit und Einfachheit in Ihren Data Lakes, doch die Verwaltung von Iceberg-Tabellen kann mehrere Stunden Entwicklungszeit in Anspruch nehmen. Amazon S3 Tables bieten speziell entwickelten Iceberg-Speicher, der die Governance optimiert und Routineaufgaben wie die Komprimierung und die Verwaltung von Snapshots automatisiert, wodurch Ihrem Team wertvolle Arbeitszeit zurückgewonnen wird.
Weitere Informationen zur automatisierten Wartung von Amazon S3 Tables für Apache Iceberg
Mit AWS-Engines müssen Sie niemals Abstriche bei der Leistung aufgrund der Kosten machen. Iceberg Materialized Views in AWS Glue steigern die Performance von Abfragen in Apache Spark um das bis zu 8-Fache, Amazon EMR führt Schreibaufträge von Apache Iceberg mehr als 2-mal schneller aus als Open-Source-Äquivalente und Instances von Amazon Redshift RG führen Apache-Iceberg-Workloads bis zu 2,4-mal schneller aus als frühere Generationen, und das zu bis zu 30 % niedrigeren Kosten.
Weitere Informationen über die Nutzung von Apache Iceberg mithilfe von AWS-Engines und AWS-Services
Offenheit geht nicht auf Kosten der Governance. Mit AWS erhalten Benutzer und Engines eine konsistente Ansicht der vorhandenen Tabellen, ihrer Speicherorte und ihrer Struktur. Mit AWS Lake Formation können Sie detaillierte Zugriffsrichtlinien einmalig festlegen, die dann einheitlich über alle AWS-Services hinweg durchgesetzt werden.
Erfahren Sie mehr über AWS Lake Formation für Apache Iceberg-Tabellen
AWS-Glue-Datenkatalog und Amazon S3 Tables stellen Endpunkte des Iceberg-REST-Katalogs zur Verfügung. Dadurch funktionieren Iceberg-Tabellen auf S3 mit jedem kompatiblen Katalog. Durch den Katalogverbund in AWS Glue können AWS-Engines wie Amazon Redshift, Amazon Athena und Amazon EMR Tabellen abfragen, die in Remote-Iceberg-Katalogen katalogisiert sind, ohne Daten zu kopieren. So erhalten Sie eine einheitliche Ansicht all Ihrer Daten, unabhängig davon, wo sich diese Daten befinden.
Weitere Informationen über den Katalogverbund mit Remote-Katalogen in Iceberg
Unterstützung für jede Phase Ihrer Open-Data-Reise
Ganz gleich, ob Sie von Apache Hive modernisieren oder KI-Agenten in großem Maßstab einsetzen – AWS bietet Unterstützung für jeden Anwendungsfall
Grundlage für KI
Gewähren Sie KI-Modellen und Agenten geregelten, versionierten Zugriff auf Produktionsdaten – mit integrierter Datenherkunft, differenzierter Zugriffskontrolle und Zeitreisefunktion. Teams können Trainingsläufe reproduzieren, das Verhalten von Agenten beurteilen und bei Bedarf Rollbacks durchführen, ohne dafür eine eigene Infrastruktur entwickeln zu müssen.
Modernisierung von Lakehouses
Migrieren Sie von älteren Hive-Tabellen oder proprietären Formaten zu für KI geeigneten Iceberg Data Lakes und Lakehouse-Architekturen, ganz ohne Ausfallzeiten und ganz ohne Umschreiben von Daten. AWS bietet Möglichkeiten zur Migration an Ort und Stelle. Dadurch können Ihre Teams schrittweise modernisieren, während die Workloads weiterlaufen.
Wie Yelp mit einem Streaming-Lakehouse in AWS seine Dateninfrastruktur modernisierte
Migration zu Apache Iceberg – direkt und im Unternehmensmaßstab. Leitfaden für die Implementierung
Kostensenkung
Vereinfachen Sie die Verwaltung von Metadaten in verschiedenen Katalogen. Zentralisieren Sie entscheidende Metadaten, damit Sie einen vertrauenswürdigen, umfassenden Überblick über Datenbestände erhalten, und eliminieren Sie redundante Datenkopien und komplexe ETL-Systeme.
Analytik in der Größenordnung von Petabytes
Führen Sie interaktive Abfragen über Petabytes an Iceberg-Daten hinweg aus, ohne die Daten in ein Warehouse verschieben zu müssen. Da mehrere Engines auf sichere Weise aus ein und denselben Tabellen lesen können, können Analysten und Dateningenieure für jede Workload die am besten geeignete Engine auswählen, ohne Daten kopieren zu müssen.
Reale Auswirkungen auf Kunden
Funktionsweise
Nächste Schritte
Schritt-für-Schritt-Anleitung für Ihre Iceberg-Architektur
Einstieg in die Entwicklung mit AWS
Hinweis
Apache und die Namen der Apache-Projekte sind Marken der Apache Software Foundation.
Haben Sie die gewünschten Informationen gefunden?
Ihr Feedback hilft uns, die Qualität der Inhalte auf unseren Seiten zu verbessern