Publicado: Nov 28, 2022
O AWS Glue para Ray é uma nova opção de mecanismo no AWS Glue. Os engenheiros de dados podem usar o AWS Glue para processar grandes conjuntos de dados usando Python e bibliotecas do Python populares. O AWS Glue é um serviço de integração de dados escalável e com tecnologia sem servidor usado para descoberta, preparação, movimentação e integração de dados de várias fontes. O AWS Glue para Ray combina essa opção de tecnologia sem servidor para integração de dados com o Ray (ray.io), uma nova e popular estrutura de computação de código aberto que ajuda você a escalar workloads do Python.
Você paga apenas pelos recursos que usa durante a execução do código e não precisa configurar ou ajustar nenhum recurso. O AWS Glue para Ray facilita o processamento distribuído do seu código Python em clusters de vários nós. Você pode criar e executar trabalhos do Ray em qualquer lugar no qual execute trabalhos de extração transformação e carregamento (ETL) do AWS Glue. Isso inclui trabalhos existentes do AWS Glue, interfaces de linha de comando (CLIs) e APIs. Você pode selecionar o mecanismo Ray por meio de notebooks no AWS Glue Studio, no Amazon SageMaker Studio Notebook ou localmente. Quando o trabalho do Ray estiver pronto, você poderá executá-lo sob demanda ou de forma programada.
O AWS Glue para Ray está disponível na versão de demonstração nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Tóquio) e Europa (Irlanda).
Para saber mais, consulte nossa documentação.