Publicado: May 25, 2023
Temos o prazer de anunciar o lançamento do AWS Glue 4.0 para a região AWS GovCloud (Oeste dos EUA). O AWS Glue 4.0 é uma nova versão do AWS Glue que acelera workloads de integração de dados na AWS. O AWS Glue 4.0 atualiza os mecanismos do Spark para Apache Spark 3.3.0 e Python 3.10. O Glue 4.0 oferece aos clientes as mais recentes versões do Spark e Python para que eles possam acelerar o desenvolvimento, execução e escalabilidade de workloads de integração de dados e a obtenção de insights.
O AWS Glue é um serviço de integração de dados escalável e com tecnologia sem servidor que simplifica a descoberta, preparação, movimentação e integração de dados de várias fontes. O AWS Glue 4.0 adiciona suporte às APIs integradas do Pandas e a estruturas de data lake (Apache Hudi, Apache Iceberg e Delta Lake) para que você tenha mais opções de análise e armazenamento de dados. A nova versão atualiza os conectores para fontes de dados de banco de dados nativos do AWS Glue, como RDS, MySQL e SQL Server, para simplificar as conexões a fontes de banco de dados comuns. Além disso, o AWS Glue 4.0 adiciona suporte nativo ao novo Cloud Shuffle Storage Plugin para Apache Spark, que ajuda os clientes a escalar a utilização de disco durante o tempo de execução. A execução de consultas adaptáveis também é habilitada. O recurso otimiza consultas durante a execução. Por fim, o AWS Glue 4.0 aprimora a experiência do desenvolvedor, adicionando mais contexto às mensagens de erro. Assim como no AWS Glue 3.0, os clientes pagam apenas pelos recursos que usam.
Para saber mais, consulte a documentação.