AWS Step Functions расширяет возможности источников данных и улучшает наблюдаемость для распределенной карты
AWS Step Functions теперь поддерживает дополнительные источники данных и новые метрики наблюдаемости для распределенной карты. AWS Step Functions – это визуальный сервис рабочих процессов, способный оркестрировать более 14 000 действий API из более чем 220 сервисов AWS для создания распределенных приложений и рабочих нагрузок по обработке данных. Распределенная карта – это состояние задачи Step Functions, которое выполняет один и тот же процесс для нескольких записей в наборе данных.
Благодаря этому обновлению распределенная карта может поддерживать дополнительные источники ввода данных, что позволяет организовывать крупномасштабную аналитику и рабочие процессы ETL. Теперь можно обрабатывать манифест данных AWS Athena и файлы Parquet напрямую, выполнять перебор объектов S3 под заданным префиксом с помощью S3ListObjectsV2, читать из объектов JSON и извлекать массив данных непосредственно из объекта JSON из Amazon S3 или входных данных состояния без необходимости в специальной предварительной обработке. Кроме того, обновление позволяет отслеживать использование распределенной карты с помощью таких показателей, как приблизительное количество запусков открытой карты, ограничение количества запусков открытой карты и приблизительный размер журнала невыполненных запусков карты.
Новые источники входных данных и улучшенная наблюдаемость распределенной карты доступны во всех коммерческих регионах AWS, где доступен сервис AWS Step Functions. Для начала вы можете уже сейчас использовать режим распределенных карт в консоли AWS Step Functions. Чтобы узнать больше, воспользуйтесь руководством для разработчиков Step Functions.