Publicado: Nov 28, 2022
Agora, o AWS Glue para Apache Spark oferece suporte a três frameworks de data lake de código aberto: Apache Hudi, Apache Iceberg e Linux Foundation Delta Lake. Esses frameworks permitem a leitura e gravação de dados no Amazon Simple Storage Service (Amazon S3) com consistência transacional. O AWS Glue é um serviço de integração de dados escalável e com tecnologia sem servidor que facilita a descoberta, preparação, movimentação e integração de dados de várias fontes. Este recurso elimina a instalação de um conector separado e reduz as etapas de configuração necessárias para usar esses frameworks em trabalhos do AWS Glue para Apache Spark.
Esses frameworks de data lake de código aberto simplificam o processamento de dados incrementais em data lakes criados no Amazon S3. Eles habilitam recursos como consultas de viagem no tempo, transações com Atomicity, Consistency, Isolation, Durability (ACID – Atomicidade, consistência, isolamento e durabilidade), ingestão de streaming, Change Data Capture (CDC – Captura de dados alterados), upserts e exclusões.
Para saber mais, consulte a documentação.
Esse recurso está disponível em todas as regiões comerciais da AWS em que o AWS Glue é oferecido.