Что такое пакетная обработка?
Пакетная обработка – это метод, используемый компьютерами для периодического выполнения больших объемов повторяющихся заданий с данными. Некоторые задачи обработки данных, такие как резервное копирование, фильтрация и сортировка, могут быть ресурсоемкими и неэффективными для выполнения отдельных транзакций данных. Вместо этого системы данных обрабатывают такие задачи пакетно, часто в непиковое время, когда вычислительные ресурсы более доступны, например, в конце дня или ночью. Например, рассмотрим систему электронной коммерции, которая получает заказы в течение дня. Вместо того, чтобы обрабатывать каждый заказ по мере его возникновения, система может собирать все заказы в конце каждого дня и делиться ими одной партией с командой выполнения заказов.
Почему пакетная обработка важна?
Организации используют пакетную обработку, потому что она требует минимального взаимодействия с человеком и повышает эффективность выполнения повторяющихся задач. Вы можете настроить пакеты заданий, состоящие из миллионов записей, которые будут обрабатываться вместе, когда вычислительная мощность наиболее доступна, что снижает нагрузку на ваши системы. Современная пакетная обработка также требует минимального контроля или управления со стороны человека. При возникновении проблемы система автоматически уведомляет заинтересованную команду о ее решении. Менеджеры используют непринужденный подход, доверяя своему программному обеспечению пакетной обработки выполнять свою работу. Далее следуют дополнительные преимущества пакетной обработки.
Какова история пакетной обработки?
Пакетной обработке уже более ста лет, хотя технические особенности ее работы постоянно меняются. Первый случай пакетной обработки относится к 1890 году, когда электронный табулятор использовался для записи информации для Бюро переписи населения США. Переписчики маркировали карточки данных, называемые перфокартами, и обрабатывали их партиями с помощью электромеханического устройства. К 1960-м годам разработчики могли планировать пакетные программы на магнитной ленте для последовательной работы компьютеров в течение дня. Пакетные задания также стали обычным явлением, поскольку мэйнфрейм улучшился и стал более мощным и эффективным. Современные организации используют программные пакетные приложения для общих бизнес-процессов, таких как создание отчетов, печать документов или обновление информации в конце дня.
Какие примеры пакетной обработки заданий можно автоматизировать?
Системы пакетной обработки используются для обработки различных типов данных и запросов. Некоторые из наиболее распространенных типов заданий пакетной обработки включают в себя:
- Еженедельное/ежемесячное выставление счетов
- Зарплата
- Обработка запасов
- Создание отчетов
- Конвертация данных
- Циклы подписки
- Выполнение цепочки поставок
Каковы варианты использования систем пакетной обработки?
Существует множество вариантов использования систем пакетной обработки. Ниже приведены ключевые примеры.
Финансовые сервисы
Организации, предоставляющие финансовые сервисы, от гибких финансовых технологий до устаревших предприятий, используют пакетную обработку в таких областях, как высокопроизводительные вычисления для управления рисками, обработка транзакций в конце дня и наблюдение за мошенничеством. Они используют пакетную обработку, чтобы свести к минимуму человеческий фактор, повысить скорость и точность, а также снизить затраты за счет автоматизации.
Программное обеспечение как услуга
Предприятия, предоставляющие приложения типа «программное обеспечение как услуга» (SaaS), часто сталкиваются с проблемами масштабируемости. Используя пакетную обработку, можно масштабировать спрос клиентов и автоматизировать планирование заданий. Создание контейнерных сред приложений для масштабирования спроса на обработку больших объемов – это проект, на выполнение которого могут уйти месяцы или даже годы, но системы пакетной обработки помогают достичь того же результата в гораздо более короткие сроки.
Медицинские исследования
Анализ больших объемов данных – или больших данных – является распространенным требованием в области исследований. Пакетную обработку можно применять в приложениях аналитики данных, таких как вычислительная химия, клиническое моделирование, молекулярная динамика и тестирование и анализ геномного секвенирования. Например, ученые используют пакетную обработку для сбора более качественных данных, чтобы начать разработку лекарств и получить более глубокое понимание роли конкретного биохимического процесса.
Цифровые мультимедиа
Предприятиям мультимедиа и развлечений требуются масштабируемые системы пакетной обработки для автоматической обработки данных, таких как файлы, графика и визуальные эффекты, для видеоконтента высокого разрешения. Пакетную обработку можно использовать для ускорения создания контента, динамического масштабирования упаковки мультимедиа и автоматизации рабочей нагрузки мультимедиа.
Как работает пакетная обработка?
Хотя приложения пакетной обработки различаются в зависимости от типа задачи, которую необходимо выполнить, основы любого пакетного задания остаются неизменными. Пользователь может запускать пакетные задания, указав приведенные ниже сведения.
- Имя лица, отправляющего задание
- Пакетные процессы или программы, которые необходимо запустить
- Системное расположение ввода данных
- Системное местоположение для вывода обработанных данных
- Время или окно пакета, когда должно быть запущено пакетное задание
Пользователь также указывает размер партии или количество рабочих единиц, которые система должна обработать за одну полную пакетную операцию. Вот некоторые примеры размера пакета:
- Количество строк пакетного файла для чтения и хранения в базе данных
- Количество сообщений для чтения и обработки из очереди
- Количество транзакций для сортировки и отправки следующему приложению
В окне пакетной обработки система пакетной обработки использует информацию о размере пакета для распределения ресурсов, необходимых для эффективного выполнения пакетного задания. Современные системы могут выполнять сотни тысяч пакетных заданий локально или в облаке.
Зависимости
Задачи пакетного задания могут выполняться последовательно или одновременно. Последовательности могут отличаться в зависимости от того, успешно ли выполнена предыдущая задача. Примеры зависимостей включают покупателя, делающего заказ в интернет-магазине или оплачивающего счет. Зависимость также можно настроить для запуска цикла обработки задания.
Команды cron
Команда cron – это пакетное задание, которое выполняется регулярно. Можно настроить шаблоны повторения для пакетных заданий, например, настроить задание для выставления счетов по подпискам в конце каждого месяца.
Как контролировать пакетную обработку?
Хотя системы пакетной обработки работают с минимальным участием персонала, они все же нуждаются в некотором контроле. Для мониторинга пакетных процессов можно настроить оповещения или исключения, которые отправляются при успешном выполнении, сбое или завершении пакетного задания.
Мониторы
Мониторы в пакетных процессах ищут отклонения, такие как выполнение задания, которое занимает больше времени, чем следовало бы. В этом случае он остановит начало следующего задания и сообщит соответствующему персоналу об исключении.
Анализ постобработки
Можно просмотреть историю пакетного задания после его обработки. Большинство пакетных процессов включают файлы журналов, в которые записываются сообщения во время выполнения задания.
.d46618d7405bca4283d36fdde36b52b6b67daeb1.57d3c5f4085a327201fb64b724e1aa29770ad253.png)
В чем разница между пакетной и потоковой обработкой?
В то время как пакетные системы обрабатывают большие объемы данных и запросов в последовательном порядке, потоковая обработка постоянно анализирует данные, проходящие через систему или между устройствами. Потоковая обработка отслеживает данные в реальном времени и непрерывно передает их по сети. Для мониторинга больших объемов данных требуется большая вычислительная мощность.
Когда размер передаваемых данных неизвестен или бесконечен, потоковые данные могут быть предпочтительнее пакетной обработки. В результате потоковая обработка обычно используется для бизнес-функций, таких как кибербезопасность, Интернет вещей (IoT), персонализированные маркетинговые сервисы и мониторинг журналов.
Учитывая их дополнительные возможности, некоторые предприятия внедрили гибридную систему, которая включает пакетную обработку и потоковую обработку в своих повседневных операциях.
Как AWS помогает с пакетной обработкой?
Вы можете сэкономить до 90 % на полностью управляемой пакетной обработке с помощью пакета AWS. Пакет AWS динамически выделяет оптимальное количество и тип вычислительных ресурсов, таких как инстансы, оптимизированные для ЦП или памяти, и устраняет необходимость установки инфраструктуры системы пакетной обработки и управления ею. Вы можете тратить меньше времени на управление инфраструктурой и больше времени на анализ результатов и решение проблем.
Пакетные рабочие нагрузки также можно запускать на спотовых инстансах Эластичного вычислительного облака Amazon (Amazon EC2). Спотовые инстансы Amazon EC2 – это неиспользованные ресурсы Amazon EC2, доступные со скидкой до 90 % по сравнению с ценами на инстансы по требованию. Спотовые инстансы идеально подходят для приложений пакетной обработки, поскольку вы можете запускать сверхмасштабируемые рабочие нагрузки и при этом существенно сокращать расходы или ускорять выполнение рабочих нагрузок с помощью параллельных задач.
Начните пакетную обработку, создав аккаунт AWS.
Пакетная обработка в AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
Начните разработку с использованием Пакета AWS в Консоли управления AWS.