I formati di dati legacy non sono stati creati per l’IA.
Prepara i tuoi dati per gli agenti con il supporto AWS per Apache Iceberg nell’intero stack di dati e IA
Offri ai tuoi agenti un’unica fonte di verità aperta
Gli agenti IA hanno bisogno di un accesso controllato ai dati distribuiti su data lake, database e applicazioni. Senza una base per la gestione dei dati unificata, i team di dati si ritrovano a gestire le copie, creare pipeline personalizzate e rallentare le iniziative di IA che dipendono da dati attendibili.
Ecco perché organizzazioni come Comcast, Indeed e Vanguard
si sono rivolte ad AWS per rendere tutti i propri dati più affidabili e interoperabili. Con il più ampio supporto nativo per Apache Iceberg di tutti i principali provider cloud, dall’archiviazione allo streaming, dall’ETL al catalogo e fino all’analisi , AWS consente a ogni motore e agente di accedere agli stessi dati attendibili, consentendo ai team di semplificare la propria architettura e distribuire l’IA più velocemente.
Perché Apache Iceberg?
Funzionalità come le transazioni ACID, l’evoluzione dello schema, l’isolamento degli snapshot e il time travel integrato assicurano che ogni query abbia una visione completa e coerente dei dati.
Iceberg consente di evolvere gli schemi in modo flessibile e di modificare le strategie di partizionamento in base alle esigenze che cambiano. E poiché Iceberg è un formato di tabella open source al 100% e gestito dalla community, non è legato alla roadmap di un singolo fornitore.
Consolida i carichi di lavoro su una singola copia dei dati gestiti, elimina le pipeline ETL ridondanti e riduci i costi di archiviazione rimuovendo i set di dati duplicati su sistemi in silos.
Grazie al supporto nativo per i framework più diffusi come Apache Spark, Apache Flink e Presto, Iceberg ti consente di scegliere lo strumento più performante per ogni attività.
Perché scegliere AWS per Apache Iceberg?
Amazon S3 archivia i dati nel tuo account in formati aperti accessibili da qualsiasi motore compatibile. Sai esattamente dove risiedono i tuoi dati, puoi controllare i modelli di accesso tramite log dettagliati a livello di richiesta e mantenere la proprietà completa. Amazon S3 offre durabilità, disponibilità, sicurezza e prestazioni ai vertici del settore, mentre tu mantieni il pieno controllo e la visibilità.
Apache Iceberg offre affidabilità e semplicità ai tuoi data lake, ma la gestione delle tabelle Iceberg può richiedere ore di lavoro di progettazione. Amazon S3 Tables offre un’archiviazione Iceberg appositamente progettata che semplifica la governance e automatizza attività di routine come la compattazione e la gestione degli snapshot, restituendo ore di produttività al tuo team.
Scopri di più sulla manutenzione automatizzata di Amazon S3 Tables per Apache Iceberg
Con i motori AWS, non si sacrificano mai le prestazioni in favore dei costi. Le viste materializzate di Iceberg in AWS Glue accelerano le prestazioni delle query da Apache Spark fino a 8 volte, Amazon EMR esegue i lavori di scrittura di Apache Iceberg oltre 2 volte più velocemente rispetto agli equivalenti open source e le istanze Amazon Redshift RG eseguono carichi di lavoro Apache Iceberg fino a 2,4 volte più velocemente rispetto alle generazioni precedenti a un costo fino al 30% inferiore.
Scopri di più su come lavorare con Apache Iceberg utilizzando motori e servizi AWS
L’apertura non va a scapito della governance. AWS consente di fornire a ogni motore e utente una visione coerente di quali tabelle esistono, dove si trovano e come sono strutturate. Con AWS Lake Formation, definisci una sola volta policy di accesso granulari che vengono applicate in modo coerente in tutti i servizi AWS.
Scopri di più su AWS Lake Formation per le tabelle Apache Iceberg
Il Catalogo dati AWS Glue e Amazon S3 Tables espongono gli endpoint del catalogo REST di Iceberg, quindi le tabelle Iceberg su S3 funzionano con qualsiasi catalogo compatibile. La federazione dei cataloghi in AWS Glue consente ai motori AWS come Amazon Redshift, Amazon Athena e Amazon EMR di eseguire query sulle tabelle catalogate in cataloghi Iceberg remoti senza copiare i dati, offrendoti una visione unificata di tutti i tuoi dati indipendentemente da dove risiedono.
Scopri di più sulla federazione dei cataloghi con i cataloghi Iceberg remoti
Supporto per ogni fase del tuo percorso verso i dati aperti
AWS offre supporto per ogni caso d’uso, che si tratti di eseguire la modernizzazione da Apache Hive o distribuire agenti IA su larga scala
Base per l’IA
Offri ai modelli e agli agenti IA un accesso controllato e con versioni ai dati di produzione con lineage, controllo granulare degli accessi e time travel integrati. I team possono riprodurre le sessioni di addestramento, verificare il comportamento degli agenti e ripristinarle quando necessario, senza creare un’infrastruttura personalizzata.
Modernizzazione del lake house
Esegui la migrazione da tabelle Hive legacy o formati proprietari a data lake Iceberg e architetture lakehouse predisposti per l’IA evitando i tempi di inattività o la riscrittura dei dati. AWS fornisce percorsi di migrazione in-place in modo che i tuoi team possano modernizzare in modo incrementale mentre i carichi di lavoro continuano a funzionare.
In che modo Yelp ha modernizzato la sua infrastruttura di dati con un lake house in streaming su AWS
Migrazione sul posto su scala aziendale ad Apache Iceberg: Guida all’implementazione
Riduzione dei costi
Smetti di gestire i metadati tra cataloghi disconnessi. Centralizza i metadati critici per una visione affidabile e completa delle risorse di dati ed elimina le copie ridondanti dei dati e i sistemi ETL complessi.
Analisi su scala di petabyte
Esegui query interattive su petabyte di dati Iceberg senza spostarli in un data warehouse. Con più motori che leggono in tutta sicurezza dalle stesse tabelle, analisti e ingegneri dei dati scelgono il motore giusto per ogni carico di lavoro senza copiare i dati.
Impatto reale sul cliente
Come funziona
Servizi di dati e analisi AWS per Apache Iceberg
Passi successivi
Guida dettagliata per la tua architettura Iceberg
Avviso
Hai trovato quello che cercavi?
Condividi il tuo feedback, così possiamo migliorare la qualità dei nostri contenuti.