O AWS Glue anuncia suporte a VPC, envio de filtros e suporte a partições para o conector da API REST
Agora, o AWS Glue oferece suporte a conexões VPC, carregamento de filtros e suporte a partições para o conector da API REST. O conector da API REST permite que você ingira dados de qualquer fonte que exponha uma API baseada em REST, incluindo sistemas proprietários e plataformas emergentes sem conectores nativos do AWS Glue. Com este lançamento, você pode operar seus pipelines de ETL a partir de fontes de dados com endpoints da API REST conectando-se com segurança a endpoints privados, transferindo somente os dados de que precisam e paralelizando as leituras para uma ingestão mais rápida, tudo sem escrever código personalizado
Com o suporte à VPC, você pode usar o conector da API REST para acessar fontes de dados hospedadas em sub-redes privadas ou conectadas por meio de VPNs ou do AWS PrivateLink, sem expor o tráfego à Internet pública. O filtro push down traduz seus predicados de consulta em parâmetros nativos da API, portanto, somente os registros correspondentes saem da fonte, reduzindo os custos de transferência de dados e melhorando o desempenho do trabalho. O suporte à partição divide grandes conjuntos de dados entre vários funcionários do Spark usando estratégias baseadas em campo ou de contagem de registros, fornecendo leituras paralelas que reduzem o tempo de ingestão de APIs paginadas de alto volume.
Esse novo conector está disponível em todas as regiões comerciais da AWS nas quais o AWS Glue é oferecido.
Para começar a usar, acesse a documentação do conector de API REST do AWS Glue.