Publicado: Nov 28, 2022
Temos o prazer de anunciar o lançamento do AWS Glue versão 4.0, uma nova versão do AWS Glue que acelera workloads de integração de dados na AWS. O AWS Glue 4.0 atualiza os mecanismos do Spark para Apache Spark 3.3.0 e Python 3.10. O Glue 4.0 oferece aos clientes as mais recentes versões do Spark e Python para que eles possam acelerar o desenvolvimento, execução e escalabilidade de workloads de integração de dados e a obtenção de insights.
O AWS Glue é um serviço de integração de dados escalável e com tecnologia sem servidor que simplifica a descoberta, preparação, movimentação e integração de dados de várias fontes. O AWS Glue 4.0 adiciona suporte às APIs integradas do Pandas e aos formatos Apache Hudi, Apache Iceberg e Delta Lake para que você tenha mais opções de análise e armazenamento de dados. A nova versão atualiza os conectores para fontes de banco de dados nativos do AWS Glue, como RDS, MySQL e SQL Server, para simplificar as conexões a fontes de banco de dados comuns. Além disso, o AWS Glue 4.0 adiciona suporte nativo ao novo Cloud Shuffle Storage Plugin para Apache Spark, que ajuda os clientes a escalar a utilização de disco durante o tempo de execução. A execução de consultas adaptáveis também é habilitada. O recurso otimiza consultas durante a execução. Por fim, o AWS Glue 4.0 aprimora a experiência do desenvolvedor, adicionando mais contexto às mensagens de erro. Assim como no AWS Glue 3.0, os clientes pagam apenas pelos recursos que usam.
O AWS Glue 4.0 já está disponível em todas as regiões da AWS em que o AWS Glue é oferecido, exceto nas regiões China e AWS GovCloud (EUA).
Para saber mais, consulte a documentação.