Publicado: Oct 12, 2023
O AWS Step Functions anuncia uma integração otimizada para o Amazon EMR Sem Servidor, adicionando suporte ao padrão de integração Executar um trabalho (.sync) com seis ações de API do EMR Sem Servidor (CreateApplication, StartApplication, StopApplication, DeleteApplication, StartJobRun e CancelJobRun).
O EMR Sem Servidor é uma opção do Amazon EMR que usa tecnologia sem servidor para facilitar a execução de estruturas de análises de big data de código aberto (como Apache Spark e Apache Hive) por analistas e engenheiros de dados sem necessidade de configurar, gerenciar e escalar clusters ou servidores. O AWS Step Functions é um serviço de fluxo de trabalho visual que facilita a composição de serviços da AWS em componentes de aplicação escaláveis, confiáveis e resilientes. Os clientes usam a criação visual e a experiência do operador do Step Functions para criar pipelines de processamento de dados de EMR de várias etapas, resilientes e gerenciáveis. Com essa nova integração otimizada, os clientes podem simplificar esses pipelines removendo as etapas usadas para monitorar a conclusão de tarefas assíncronas e substituí-las por um único estado de Step Functions.
Essa integração otimizada para o EMR Sem Servidor está disponível em todas as regiões da AWS que oferecem o Amazon EMR Sem Servidor.
Para começar a usar, você pode utilizar o novo exemplo de projeto "Executar um trabalho do EMR Serverless Spark" para o Step Functions no Console da AWS ou criar um fluxo de trabalho usando o Step Functions Workflow Studio. Para saber mais, consulte o Guia do desenvolvedor do AWS Step Functions e o blog do lançamento.