AWS Step Functions расширяет спектр источников данных и возможностей вывода для распределенной карты

Проведено: 7 февр. 2025 г.

Сервис AWS Step Functions теперь поддерживает дополнительные источники данных и варианты вывода для распределенной карты, что позволяет использовать более гибкие крупномасштабные рабочие процессы параллельной обработки. Теперь распределенная карта может обрабатывать данные из JSON Lines (JSONL) и более широкого спектра форматов файлов с разделителями, хранимых в Amazon S3. Кроме того, распределенная карта предлагает новые преобразования выходных данных для большего контроля над форматированием результатов.

AWS Step Functions – это визуальный сервис рабочих процессов, способный оркестрировать более 14 000 действий API из более чем 220 сервисов AWS для создания распределенных приложений и рабочих нагрузок по обработке данных. Благодаря его обновлению вам станет проще чередовать и обрабатывать разнообразные наборы данных с помощью распределенной карты Step Functions. Помимо уже имеющейся поддержки JSON и файлов с разделителями-запятыми (CSV), распределенная карта теперь поддерживает JSONL и новые форматы файлов с разделителями, такими как точка с запятой или знак табуляции. Это расширяет спектр доступных форматов обрабатываемых данных, не требующих специальной предварительной обработки. Новые гибкие выходные преобразования позволяют лучше контролировать форматирование результатов, упрощают их агрегирование и интеграцию с последующими системами.

Для начала вы можете уже сейчас использовать режим распределенных карт в консоли AWS Step Functions или прочитать эту статью блога. Чтобы узнать больше, воспользуйтесь руководством для разработчиков Step Functions.