AWS Step Functions amplia as opções de fonte de dados e melhora a observabilidade do Distributed Map
Agora, o AWS Step Functions oferece suporte a fontes de dados adicionais e novas métricas de observabilidade para o Distributed Map. O AWS Step Functions é um serviço de fluxos de trabalho visuais capaz de orquestrar mais de 14.000 ações de API de mais de 220 serviços da AWS para criar workloads de aplicações e processamento de dados distribuídos. O Distributed Map é um estado de tarefa do Step Functions que executa o mesmo processo para várias entradas em um conjunto de dados.
Com essa atualização, o Distributed Map já oferece suporte a entradas de dados adicionais para que você possa orquestrar analytics e fluxos de trabalho de ETL em grande escala. Você já pode processar diretamente arquivos do manifesto de dados e do Parquet do AWS Athena, iterar objetos do S3 com um prefixo especificado usando S3ListObjectsV2, ler objetos JSON e extrair nativamente dados de matriz do objeto JSON do Amazon S3 ou da entrada de estado, eliminando a necessidade de pré-processamento personalizado. Além disso, pode obter visibilidade do uso do Distributed Map com as seguintes métricas, como contagem aproximada de execuções de mapas abertos, limite de execuções de mapas abertos e tamanho aproximado das pendências de execução de mapas.
As novas fontes de entrada e a melhor observabilidade do Distributed Map estão disponíveis em todas as regiões comerciais da AWS que oferecem o AWS Step Functions. Você pode começar a usar o modo Distributed Map hoje mesmo no console do AWS Step Functions. Para saber mais, acesse o guia do desenvolvedor do Step Functions.