AWS Glue annonce la fédération de catalogues pour les catalogues distants Apache Iceberg
AWS Glue annonce la disponibilité générale de la fédération de catalogues pour les catalogues Iceberg distants. Cette fonctionnalité donne un accès direct et sécurisé aux tables Iceberg stockées dans Amazon S3 et cataloguées dans des catalogues distants à l'aide des moteurs d'analytique AWS.
Grâce à la fédération des catalogues, vous pouvez effectuer des fédérations vers des catalogues Iceberg distants et interroger des tables Iceberg distantes à l'aide de vos moteurs d'analyse AWS préférés, sans déplacer ni copier les tables. La fédération synchronise les métadonnées en temps réel sur AWS Glue Data Catalog et les catalogues distants lorsque les équipes chargées des données interrogent des tables distantes, ce qui signifie que les résultats des requêtes sont toujours parfaitement à jour. Vous pouvez désormais choisir le meilleur rapport prix/performances pour vos charges de travail lorsque vous analysez des tables Iceberg distantes à l'aide de vos moteurs d'analytique AWS préférés, tout en maintenant des contrôles de sécurité cohérents lors de la découverte ou de l'interrogation de données. La fédération de catalogues est prise en charge par une grande variété de moteurs d'analytique, notamment Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, ou encore des moteurs tiers tels qu'Apache Spark et Amazon SageMaker avec les notebooks sans serveur.
La fédération de catalogues utilise AWS Lake Formation pour les contrôles d'accès, ce qui vous permet d'utiliser des contrôles d'accès précis, le partage entre comptes et une propagation d'identité fiable lorsque vous partagez des tables de catalogue distantes avec d'autres consommateurs de données. La fédération de catalogues s'intègre aux implémentations de catalogues qui prennent en charge les spécifications REST d'Iceberg.
La fédération de catalogues est disponible dans la console Lake Formation et à l'aide des kits SDK et API AWS Glue et Lake Formation. Cette fonctionnalité est généralement disponible dans toutes les régions commerciales AWS où AWS Glue et Lake Formation sont disponibles. En quelques clics dans la console, vous pouvez vous fédérer vers des catalogues distants, découvrir ses bases de données et ses tables, accorder des autorisations pour accéder aux données des tables et interroger des tables Iceberg distantes à l'aide des moteurs d'analytique AWS. Pour en savoir plus, consultez la documentation.