AWS Step Functions, 분산 맵의 데이터 소스 및 출력 옵션 확장

게시된 날짜: 2025년 2월 7일

이제 AWS Step Functions는 분산 맵을 위한 추가 데이터 소스와 출력 옵션을 지원하므로, 좀 더 유연한 대규모의 병렬 처리 워크플로가 가능합니다. 분산 맵은 JSON Lines(JSONL)의 데이터와 Amazon S3에 저장된 광범위한 구분 파일 형식을 처리할 수 있습니다. 아울러 결과 형식을 더욱 효과적으로 제어할 수 있는 새로운 출력 변환 기능을 제공합니다.

AWS Step Functions는 220개 이상의 AWS 서비스에서 14,000개 이상의 API 작업을 오케스트레이션하여 분산 애플리케이션과 데이터 처리 워크로드를 구축할 수 있는 시각적 워크플로 서비스입니다. 이번 업데이트를 통해 Step Functions 분산 맵을 사용하여 다양한 데이터세트를 쉽게 반복하고 처리할 수 있게 되었습니다. 기존의 JSON 및 CSV(쉼표로 구분된 값) 파일 지원에 더해 이제 분산 맵은 JSONL과 새로운 구분 파일 형식(세미콜론으로 구분된 파일, 탭으로 구분된 파일 등)을 지원합니다. 따라서 사용자 지정 사전 처리 없이도 더 넓은 범위의 데이터 형식으로 처리 역량이 확장됩니다. 새롭고 유연한 출력 변환 기능을 통해 결과의 형식을 더 세밀하게 제어할 수 있으므로 결과를 더 쉽게 집계하고 다운스트림 시스템과의 통합을 간소화할 수 있습니다.

지금 AWS Step Functions 콘솔에서 분산 맵 모드를 사용하여 시작하거나 이 블로그 게시물을 읽어보세요. 자세한 내용은 Step Functions 개발자 안내서에서 확인하세요.