Amazon SWF позволяет разработчикам создавать, запускать и масштабировать фоновые задания с параллельными или последовательными этапами выполнения. Этот сервис представляет собой полностью автоматизированное средство отслеживания и координирования заданий в облаке.
Если этапы приложения выполняются более чем за 500 миллисекунд, то вам потребуется отслеживать состояние обработки и выполнять восстановление или повторный запуск при сбое, и в этом вам поможет сервис Amazon SWF.
На странице начала работы вы найдете образцы кода параллельных, последовательных, разветвленных и других шаблонов рабочих процессов.
Начните работать с AWS бесплатно
Создать бесплатный аккаунтУровень бесплатного пользования AWS включает 10 000 заданий, 30 000 дней управления рабочими процессами и 1000 инициаций выполнения процессов сервисом Amazon Simple Workflow (SWF).
Сервис Amazon SWF обеспечивает разделение процесса управления поэтапным выполнением вашего фонового задания и выполнение действующих рабочих элементов, содержащих созданный вами функциональный код. Благодаря этому вы можете отдельно управлять «аппаратом» приложения и выполнять его обслуживание и масштабирование с помощью его собственного функционального кода. При изменении бизнес-требований вы сможете легко внести изменения в код приложения, не беспокоясь о его базовом обеспечении, распределении заданий и управлении процессами.
Amazon SWF работает на базе высокодоступных ЦОД Amazon, поэтому функции отслеживания состояния и движок обработки заданий будут доступны приложениям в любой момент. Amazon SWF сохраняет задания с обеспечением избыточности, надежно назначает их компонентам приложения, отслеживает ход их выполнения и сохраняет их последнее состояние.
Полностью автоматизированный веб-сервис по управлению рабочими процессами Amazon SWF заменяет собой сложные пользовательские решения по управлению рабочими процессами и ПО автоматизации обработки данных. При работе с этим сервисом от разработчика больше не требуется самостоятельно управлять инфраструктурой или организовывать автоматизацию обработки данных, что позволяет полностью сконцентрироваться на разработке функционала приложения.
Сервис Amazon SWF незаметно для пользователя масштабируется в соответствии с уровнем использования приложения. При добавлении работы с процессами в приложение или при повышении их уровня сложности больше не требуется администрирование системы вручную.
Сервис Amazon SWF позволяет создавать компоненты приложения и логику координации на любом языке программирования и запускать их в облаке или локально.
Кодирование видео с помощью сервисов Amazon S3 и Amazon EC2. В этом примере использования большие видеофайлы загружаются в Amazon S3 отдельными фрагментами. Загрузка фрагментов должна контролироваться. После того как фрагмент загружен, он кодируется путем загрузки в инстанс Amazon EC2. Перекодированный фрагмент сохраняется в другом местоположении Amazon S3. После выполнения кодирования всех фрагментов видеофайла выполняется их объединение в общий файл, полностью сохраняемый в хранилище Amazon S3. Во время этого процесса могут возникнуть сбои из-за ошибок при кодировании одного или нескольких фрагментов. Такие сбои должны быть обнаружены и обработаны с помощью системы управления рабочими процессами сервиса Amazon SWF.
Перенос компонентов из ЦОД в облако. Важнейшие бизнес-операции, выполняемые в частном ЦОД, должны быть перемещены в облако полностью и без каких-либо нарушений их выполнения. В приложениях на основе сервиса Amazon SWF можно объединить исполнители, в т. ч. компоненты, которые работают в ЦОД, с исполнителями, которые запущены в облаке. Для эффективного переноса исполнителей ЦОД сперва необходимо развернуть в облаке новые исполнители того же типа. Исполнители в ЦОД продолжат работать как обычно, параллельно с новыми исполнителями в облаке. Исполнители в облаке тестируются и проверяются путем передачи им части нагрузки. Во время тестирования приложение продолжит функционировать без перебоев благодаря работе исполнителей ЦОД. После успешного тестирования исполнители ЦОД будут поэтапно остановлены, а облачные исполнители масштабируются. Таким образом, будет осуществлен полный переход на облачное приложение управления рабочим процессом. Этот процесс можно повторить для всех исполнителей ЦОД, выполняя полное перемещение приложения в облако. Если по неким соображениям определенные этапы обработки должны выполняться исключительно в частном ЦОД, то соответствующие исполнители могут продолжить свою работу в частном ЦОД, участвуя при этом в выполнении приложения.
Обработка больших каталогов продукции с помощью Amazon Mechanical Turk. При проверке данных в больших каталогах выполняется пакетная обработка продуктов. Разные пакеты могут обрабатываться параллельно. При обработке каждого из пакетов данные о продуктах извлекаются с серверов ЦОД и преобразуются в файлы CSV (файлы, значения в которых разделены запятыми), необходимые для пользовательского интерфейса реквестора Amazon Mechanical Turk (RUI). Файл CSV загружается для формирования и запуска заданий для обработки человеком (HIT). После выполнения заданий HIT полученный файл CSV проходит процесс обратного преобразования для получения данных в исходном формате. Результаты оцениваются, и сотрудники Amazon Mechanical Turk получают оплату за приемлемые результаты. Невыполненные задания отправляются на повторную обработку, а приемлемые результаты заданий HIT используются при обновлении каталога. При обработке пакетов система отслеживает качество работы сотрудников Amazon Mechanical Turk и назначает соответствующий уровень оплаты. Невыполненные задания HIT повторно пакетируются и заново проходят конвейер обработки.