Les anciens formats de données n’ont pas été conçus pour l’IA.
Préparez vos données pour les agents grâce à la prise en charge d’AWS pour Apache Iceberg sur l’ensemble de la pile de données et d’IA
Offrez à vos agents une source de vérité unique et ouverte
Les agents d’IA ont besoin d’un accès gouverné aux données réparties entre les lacs de données, les bases de données et les applications. Sans socle de données unifié, les équipes chargées des données finissent par gérer des copies, créer des pipelines personnalisés et ralentir les initiatives d’IA qui dépendent de données fiables.
C’est pourquoi des entreprises comme Comcast, Indeed et Vanguard
se tournent vers AWS pour apporter fiabilité et interopérabilité à toutes leurs données. Grâce à la prise en charge native d’Apache Iceberg la plus étendue de tous les principaux fournisseurs de cloud , couvrant le stockage, le streaming, l’ETL, le catalogue et l’analytique , AWS permet à chaque moteur et à chaque agent d’accéder aux mêmes données fiables afin que les équipes puissent simplifier leur architecture et déployer l’IA plus rapidement.
Pourquoi Apache Iceberg ?
Des fonctionnalités comme les transactions ACID, l’évolution des schémas, l’isolation par instantané et la consultation intégrée des versions antérieures garantissent à chaque requête une vue complète et cohérente de vos données.
Iceberg vous permet de faire évoluer les schémas et de modifier les stratégies de partitionnement avec souplesse, à mesure que vos besoins changent. Et comme Iceberg est un format de table 100 % open source, développé par la communauté, il n’est pas lié à la feuille de route d’un seul fournisseur.
Regroupez les charges de travail sur une copie unique de données gouvernées, éliminez les pipelines ETL redondants et réduisez les coûts de stockage en supprimant les jeux de données dupliqués dans les systèmes cloisonnés.
Grâce à une prise en charge native dans des frameworks répandus comme Apache Spark, Apache Flink et Presto, Iceberg vous permet de choisir l’outil le plus performant pour chaque tâche.
Pourquoi choisir AWS pour Apache Iceberg ?
Amazon S3 stocke les données dans votre propre compte, dans des formats ouverts accessibles à tout moteur compatible. Vous savez exactement où se trouvent vos données, pouvez auditer les schémas d’accès grâce à une journalisation détaillée de chaque requête et en conservez l’entière propriété. Amazon S3 offre une durabilité, une disponibilité, une sécurité et des performances de pointe, tandis que vous conservez un contrôle et une visibilité complets.
En savoir plus sur la création de lacs de données sur Amazon S3
Apache Iceberg apporte fiabilité et simplicité à vos lacs de données, mais la gestion des tables Iceberg peut nécessiter des heures de travail d’ingénierie. Les tableaux Amazon S3 offrent un stockage Iceberg dédié qui simplifie la gouvernance et automatise les tâches courantes comme le compactage et la gestion des instantanés, restituant ainsi de précieuses heures de productivité à votre équipe.
En savoir plus sur la maintenance automatisée des tableaux Amazon S3 pour Apache Iceberg
Avec les moteurs AWS, vous ne sacrifiez jamais les performances au profit des coûts. Les vues matérialisées Iceberg dans AWS Glue multiplient les performances des requêtes d’Apache Spark jusqu’à 8 fois, Amazon EMR exécute les tâches d’écriture Apache Iceberg plus de 2 fois plus vite que les solutions open source équivalentes, et les instances Amazon Redshift RG exécutent les charges de travail Apache Iceberg jusqu’à 2,4 fois plus vite que les générations précédentes, à un coût jusqu’à 30 % inférieur.
En savoir plus sur l’utilisation d’Apache Iceberg avec les moteurs et services AWS
L’ouverture ne se fait pas au détriment de la gouvernance. AWS vous permet de donner à chaque moteur et à chaque utilisateur une vue cohérente des tables existantes, de leur emplacement et de leur structure. Avec AWS Lake Formation, définissez une seule fois des stratégies d’accès précises et elles sont appliquées de manière cohérente dans tous les services AWS.
En savoir plus sur AWS Lake Formation pour les tables Apache Iceberg
Le catalogue de données AWS Glue et tableaux Amazon S3 exposent des points de terminaison de catalogue REST Iceberg, afin que les tables Iceberg sur S3 fonctionnent avec tout catalogue compatible. La fédération de catalogues dans AWS Glue permet aux moteurs AWS comme Amazon Redshift, Amazon Athena et Amazon EMR d’interroger les tables répertoriées dans des catalogues Iceberg distants sans copier les données, ce qui vous offre une vue unifiée de toutes vos données, où qu’elles se trouvent.
En savoir plus sur la fédération avec des catalogues Iceberg distants
Une assistance à chaque étape de votre parcours en matière de données ouvertes
Que vous procédiez à une modernisation depuis Apache Hive ou que vous déployiez des agents d’IA à grande échelle, AWS propose une assistance pour chaque cas d’utilisation
Fondation pour l’IA
Offrez aux modèles et aux agents d’IA un accès gouverné et versionné aux données de production, avec des fonctions intégrées de traçabilité, de contrôle d’accès précis et de consultation des versions antérieures. Les équipes peuvent reproduire les exécutions d’entraînement, auditer le comportement des agents et revenir à un état antérieur si nécessaire, sans créer d’infrastructure personnalisée.
Modernisation des lake houses
Migrez des tables Hive héritées ou des formats exclusifs vers des lacs de données Iceberg et des architectures lake house prêts pour l’IA, avec une durée d’indisponibilité nulle et sans réécriture des données. AWS propose des parcours de migration sur place pour permettre à vos équipes de moderniser progressivement leurs systèmes pendant que les charges de travail continuent de s’exécuter.
Comment Yelp a modernisé son infrastructure de données grâce à un lake house de streaming sur AWS
Migration sur place à l’échelle de l’entreprise vers Apache Iceberg : guide de mise en œuvre
Réduction des coûts
Ne gérez plus les métadonnées dans des catalogues déconnectés les uns des autres. Centralisez les métadonnées essentielles pour obtenir une vue approuvée et complète des actifs de données, et éliminez les copies de données redondantes et les systèmes ETL complexes.
Analytique à l’échelle du pétaoctet
Exécutez des requêtes interactives sur des pétaoctets de données Iceberg sans les déplacer vers un entrepôt de données. Plusieurs moteurs pouvant lire les mêmes tables en toute sécurité, les analystes et les ingénieurs de données choisissent le moteur adapté à chaque charge de travail sans copier les données.
L’impact réel sur les clients
Fonctionnement
Services de données et d’analytique AWS pour Apache Iceberg
Étapes suivantes
Conseils étape par étape pour votre architecture Iceberg
Avis
Avez-vous trouvé les informations que vous recherchiez ?
Faites-nous part de vos commentaires afin que nous puissions améliorer le contenu de nos pages