Publicado: Oct 31, 2022
Temos o prazer de anunciar que o Amazon EMR versão 6.8 inclui o Apache Flink 1.15.1. Esse recurso está disponível para o EMR no EC2.
O Apache Flink é uma estrutura e um mecanismo de código aberto para o processamento de fluxos de dados. O Apache Flink 1.15.1 no EMR 6.8 inclui 62 correções de erros, correções de vulnerabilidades e pequenas melhorias em relação ao Flink 1.15.0. Os recursos principais incluem:
- Alinhamento de marca d'água (beta) entre fontes de dados: o processamento de tempo de evento no Flink depende de elementos especiais com carimbos de data e hora, denominados marcas d'água, que são inseridos no fluxo pelas fontes de dados ou por um gerador de marcas d'água. Uma marca d'água com um carimbo de data e hora t pode ser entendida como declaração de que todos os eventos com carimbos de data e hora anteriores a t já chegaram. O alinhamento de marcas d'água é útil para processar fontes com velocidades diferentes de eventos (por exemplo, uma fonte está ociosa ou uma fonte emite registros a uma velocidade maior que as demais). O alinhamento de marcas d'água pode ser ativado separadamente para cada fonte. O Flink alinha marcas d'água suspendendo a fonte de maior velocidade e continuando a ler registros de outras fontes até que as marcas d'água fiquem alinhadas.
- Atualização de versão de SQL: introdução de planos JSON que são funções JSON, facilitando a importação e exportação de dados estruturadas no SQL. Hoje, as alterações de versão podem alterar a topologia de consultas SQL, o que pode introduzir incompatibilidade de snapshots entre versões. Isso dificulta a atualização de versões do Flink. Com esse recurso, a API Table e o SQL oferecerão uma forma de compilar e executar um plano, garantindo a mesma topologia para consultas SQL para versões diferentes, facilitando a atualização para versões futuras. Os usuários que quiserem experimentar o recurso podem criar um plano JSON que pode ser usado para restaurar um trabalho do Flink de acordo com a estrutura de operador anterior.
Para obter mais detalhes, consulte a documentação de versão do OSS Flink.
O Amazon EMR versão 6.8 está disponível em todas as regiões em que o Amazon EMR é oferecido. Consulte a disponibilidade regional do Amazon EMR e nossas notas de versão para obter mais detalhes.