Los formatos de datos heredados no se crearon para la IA.
Prepare sus datos para los agentes con AWS Support para Apache Iceberg en todo el conjunto de datos e IA
Ofrezca a sus agentes una fuente de información única y abierta
Los agentes de IA necesitan un acceso controlado a los datos distribuidos en lagos de datos, bases de datos y aplicaciones. Sin un fundamento de datos unificado, los equipos de datos terminan administrando copias, creando canalizaciones personalizadas y ralentizando las iniciativas de IA que dependen de datos fiables.
Por eso, organizaciones como Comcast, Indeed y Vanguard
recurren a AWS para brindar fiabilidad e interoperabilidad a todos sus datos. Con el soporte nativo de Apache Iceberg más amplio de todos los principales proveedores de nube (almacenamiento, streaming, ETL, catálogos y análisis ), AWS permite que todos los motores y agentes accedan a los mismos datos fiables para que los equipos puedan simplificar su arquitectura e implementar la IA con mayor rapidez.
¿Por qué Apache Iceberg?
Características como las transacciones ACID, la evolución de esquemas, el aislamiento de instantáneas y el viaje en el tiempo incorporado garantizan que cada consulta obtenga una vista completa y coherente de sus datos.
Iceberg le permite desarrollar esquemas de manera flexible y cambiar las estrategias de partición a medida que cambian sus necesidades. Y dado que Iceberg es un formato de tabla 100 % de código abierto e impulsado por la comunidad, no está vinculado a la hoja de ruta de un solo proveedor.
Consolide las cargas de trabajo en una sola copia de los datos gobernados, elimine las canalizaciones de ETL redundantes y reduzca los costos de almacenamiento eliminando los conjuntos de datos duplicados en los sistemas aislados.
Con soporte nativo para marcos populares como Apache Spark, Apache Flink y Presto, Iceberg le permite elegir la herramienta más eficiente para cada tarea.
¿Por qué elegir AWS para Apache Iceberg?
Amazon S3 almacena los datos en su propia cuenta en formatos abiertos a los que puede acceder cualquier motor compatible. Usted sabe exactamente dónde se encuentran sus datos, puede auditar los patrones de acceso mediante un registro detallado por solicitud y conservar la propiedad total. Amazon S3 ofrece una durabilidad, disponibilidad, seguridad y rendimiento líderes del sector, a la vez que usted conserva el control y la visibilidad totales.
Obtenga más información sobre la creación de lagos de datos en Amazon S3
Apache Iceberg aporta fiabilidad y simplicidad a sus lagos de datos, pero administrar las tablas de Iceberg puede llevar horas de trabajo de ingeniería. Tablas de Amazon S3 ofrece un almacenamiento de Iceberg personalizado que simplifica la gobernanza y automatiza las tareas rutinarias, como la compactación y la administración de instantáneas, lo que devuelve horas de productividad a su equipo.
Más información sobre el mantenimiento automatizado de Tablas de Amazon S3 para Apache Iceberg
Con los motores de AWS, nunca sacrificará el rendimiento por el costo. Las vistas materializadas de Iceberg en AWS Glue aceleran el rendimiento de las consultas de Apache Spark hasta 8 veces, Amazon EMR ejecuta trabajos de escritura de Apache Iceberg más del doble de rápido que sus equivalentes de código abierto y las instancias RG de Amazon Redshift ejecutan cargas de trabajo de Apache Iceberg hasta 2,4 veces más rápido que las generaciones anteriores a un costo hasta un 30 % menor.
La apertura no se produce a expensas de la gobernanza. AWS le permite ofrecer a cada motor y usuario una visión coherente de qué tablas existen, dónde se encuentran y cómo están estructuradas. Con AWS Lake Formation, defina políticas de acceso detalladas una vez y se aplicarán de manera uniforme en todos los servicios de AWS.
Obtenga más información sobre AWS Lake Formation para tablas de Apache Iceberg
El Catálogo de datos de AWS Glue y las Tablas de Amazon S3 exponen los puntos de conexión del catálogo REST de Iceberg, por lo que las tablas de Iceberg en S3 funcionan con cualquier catálogo compatible. La federación de catálogos de AWS Glue permite a los motores de AWS, como Amazon Redshift, Amazon Athena y Amazon EMR, consultar tablas catalogadas en catálogos remotos de Iceberg sin necesidad de copiar datos, lo que le brinda una vista unificada de todos sus datos independientemente de dónde se encuentren.
Más información sobre la federación de catálogos para catálogos remotos de Iceberg
Soporte para cada etapa de su camino hacia los datos abiertos
Ya sea para modernizar desde Apache Hive o para implementar agentes de IA a escala, AWS ofrece soporte para todos los casos de uso
Fundamentos para la IA
Proporcione a los modelos y agentes de IA un acceso gobernado y versionado a los datos de producción, con linaje, control de acceso detallado y viaje en el tiempo integrados. Los equipos pueden reproducir las ejecuciones de entrenamiento, auditar el comportamiento de los agentes y revertir cuando sea necesario, sin crear una infraestructura personalizada.
Modernización del lakehouse
Migre de tablas de Hive heredadas o formatos de propiedad exclusiva a lagos de datos Iceberg y arquitecturas de lakehouse preparados para la IA sin tiempos de inactividad ni reescrituras de datos. AWS ofrece rutas de migración in situ para que sus equipos puedan modernizarse de forma gradual mientras las cargas de trabajo siguen funcionando.
Cómo Yelp modernizó su infraestructura de datos con un lakehouse de streaming en AWS
Migración in situ a Apache Iceberg a escala empresarial: Guía de implementación
Reducción de costos
Deje de administrar metadatos en catálogos desconectados. Centralice los metadatos críticos para obtener una visión completa y fiable de los activos de datos y elimine las copias de datos redundantes y los sistemas ETL complejos.
Análisis a escala de petabytes
Realice consultas interactivas en petabytes de datos de Iceberg sin moverlos a un almacén. Con varios motores que leen las mismas tablas de forma segura, los analistas e ingenieros de datos eligen el motor adecuado para cada carga de trabajo sin copiar los datos.
Impacto real en el cliente
Funcionamiento
Servicios de datos y análisis de AWS para Apache Iceberg
Siguientes pasos
Orientación paso a paso para su arquitectura de Iceberg
Aviso
¿Encontró lo que buscaba hoy?
Ayúdenos a mejorar la calidad del contenido de nuestras páginas compartiendo sus comentarios