Спотовые инстансы Amazon EC2 предлагают свободные вычислительные ресурсы в облаке AWS со значительной скидкой по сравнению со стоимостью инстансов по требованию.
Спотовые инстансы позволяют сэкономить до 90 % на отказоустойчивых рабочих нагрузках, в том числе связанных с контейнерами, высокопроизводительными вычислениями (HPC), обработкой больших данных, непрерывной интеграцией и непрерывной доставкой (CI/CD). Кроме того, с их помощью можно повысить пропускную способность в 10 раз, не выходя за рамки имеющегося бюджета.
Начало работы
Начать работу со спотовыми инстансами совсем не сложно. Прежде всего необходимо определить, для каких ключевых рабочих нагрузок лучше всего подходят спотовые инстансы. Запустить спотовый инстанс можно за считаные минуты с помощью Консоли управления AWS, встроенных сервисов AWS, таких как Amazon EMR, Amazon ECS, AWS Batch и EC2 Auto Scaling, или API группы инстансов EC2. См. руководство пользователя Amazon EC2 и приведенные ниже рекомендации и ресурсы.
1. Базовые сведения о спотовых инстансах
- Посмотрите видео о том, какие рабочие нагрузки оптимально подходят для запуска на спотовых инстансах.
- Узнайте о том, как работает модель ценообразования для спотовых инстансов, обеспечивая предсказуемые цены и экономию на уровне 70–90 % по сравнению с инстансами по требованию.
2. Создание первого спотового инстанса
- Узнайте о работе спотовых инстансов и запустите свои первые спотовые инстансы с помощью Консоли управления AWS, SDK, интерфейса командной строки AWS или API AWS.
- Узнайте, как запустить спотовые инстансы для рабочих нагрузок, связанных с непрерывной интеграцией и непрерывной доставкой (CI/CD), большими данными, контейнерами и рендерингом.
Принцип работы спотовых инстансов
Различные примеры использования
Спотовые инстансы для рабочих нагрузок на основе контейнеров
Контейнеры не сохраняют состояние, являются отказоустойчивыми и отлично подходят для спотовых инстансов Amazon EC2. Посмотрите этот вебинар, чтобы узнать, как эффективно развертывать рабочие нагрузки на основе контейнеров с помощью Kubernetes и легко управлять кластерами в любых масштабах по минимальной цене. Спотовые инстансы можно использовать вместе с Amazon Elastic Container Service, Amazon Elastic Kubernetes Service или Kubernetes для выполнения любой рабочей нагрузки на основе контейнеров – от распределенной системы до приложений, ежедневно обрабатывающих большие массивы данных. Подробнее.
Обработка больших данных на спотовых инстансах
Спотовые инстансы обеспечивают ускорение, масштабирование и существенную экономию при выполнении ограниченных по времени сверхмасштабируемых рабочих нагрузок для быстрого анализа данных. Для обработки больших объемов данных используйте спотовые инстансы вместе с Amazon EMR, Hadoop или Spark. Посмотрите это видео, чтобы начать работу со спотовыми инстансами Amazon EC2 и Amazon EMR для быстрой и экономичной обработки данных. Дополнительная информация о запуске рабочих нагрузок для большого объема данных с помощью Amazon EMR и спотовых инстансов доступна на этой странице.
Непрерывная интеграция и непрерывная доставка (CI/CD) на спотовых инстансах
Настройте Jenkins с модулем Spot, подключаемым к EC2, чтобы автоматически масштабировать группу спотовых инстансов в зависимости от количества заданий, которые необходимо выполнить. Чтобы обеспечить экономичность, используйте для CI инстансы предыдущих поколений, так как эти процессы не требуют для тестирования значительной мощности. Благодаря своей гибкости и рентабельности, спотовые инстансы эффективны при тестировании нагрузки, интеграции, предвыпускном тестировании (canary testing) и тестировании защиты. Подробнее.
Рендеринг рабочих нагрузок на спотовых инстансах
Рабочие нагрузки, связанные с рендерингом, отказоустойчивы, поэтому они отлично подходят для запуска на спотовых инстансах, которые, в свою очередь, обеспечивают значительное снижение затрат. Посмотрите эту презентацию в рамках 2019 SIGGRAPH, чтобы узнать, как начать работать с AWS Thinkbox и спотовыми инстансами и обеспечить масштабируемость рабочих нагрузок, связанных с рендерингом, с минимальными затратами. Перейдите по ссылке, чтобы узнать, как компания Scripps Networks Interactive сократила время, затрачиваемое на рендеринг компьютерной графики, на 95 % с помощью спотовых инстансов и AWS ThinkBox.
Интернет‑приложения и веб-сервисы на спотовых инстансах
Узнайте о новых инициативах, которые дадут возможность сэкономить денежные средства, или выполните масштабирование до десятков тысяч инстансов для различных веб-сервисов и интернет-приложений: рекламных серверов, серверов для торгов в режиме реального времени и т. д. Посмотрите этот вебинар, чтобы узнать, как развертывать веб-приложения любого масштаба с помощью EC2 Auto Scaling. Оптимизируйте затраты на рабочие нагрузки и научитесь использовать шаблоны запуска EC2, чтобы развернуть группу EC2 Auto Scaling и обеспечить ее работу с помощью спотовых инстансов, инстансов по требованию и балансировщика нагрузки. Дополнительная информация о запуске веб-приложений на спотовых инстансах доступна в блоге.
Пакетная обработка на спотовых инстансах
Используйте спотовые инстансы для пакетной обработки, чтобы снизить затраты. Посмотрите это видео, чтобы узнать, как запустить рабочие нагрузки с пакетной обработкой на AWS Batch с помощью спотовых инстансов. Ознакомьтесь со стратегией распределения ресурсов, описанной в этом блоге, чтобы оптимизировать рабочие нагрузки с пакетной обработкой на спотовых инстансах. Дополнительная информация об использовании AWS Batch со спотовыми инстансами доступна на этой странице.
Использование машинного обучения на спотовых инстансах
Обеспечьте более эффективную работу моделей на базе искусственного интеллекта и машинного обучения на спотовых инстансах. Посмотрите это видео, чтобы научиться запускать задания по обучению логическим выводам с помощью Elastic Inference и снизить затраты на вычисления до 90 % за счет применения спотовых инстансов. Узнайте о лучших способах настройки Cloudformation и запуска шаблонов для автоматизации рабочего процесса. Чтобы научиться быстрее и с минимальными затратами запускать рабочие нагрузки на базе искусственного интеллекта и машинного обучения на Amazon SageMaker с помощью управляемого спотового обучения, следуйте инструкциям в руководстве для самостоятельной работы.
Рекомендации по использованию спотовых инстансов
Используйте рекомендации с учетом типа инстанса, бюджета и конкретного приложения. Некоторые рекомендации приводятся ниже.
1. Правила использования спотовых инстансов
- Пулы спотовых ресурсов предлагаются по отдельным ценам и редко меняются.
- Если ресурсы Amazon EC2 изымаются для другого использования, пользователю отправляется предупреждение об этом за две минуты.
2. Гибкость инстансов
3. API групп
Используйте специальную стратегию распределения и оптимизации, чтобы управлять спотовыми инстансами в группе EC2 Auto Scaling и обеспечивать доступ к пулам с наибольшим количеством ресурсов. Благодаря этой стратегии группа EC2 Auto Scaling будет запускать спотовые инстансы с высокопроизводительными ресурсами, что позволит снизить риск прерываний.
Обработка прерываний
Если EC2 нуждается в дополнительных ресурсах, работа спотовых инстансов может быть прервана. Уведомление об этом отправляется за две минуты. Чтобы уменьшить влияние прерываний, следуйте приведенным выше рекомендациям.
Посмотрите видео о том, как автоматизировать работу с уведомлениями, которые отправляются за две минуты до прерывания работы спотовых инстансов Amazon EC2. Среднюю частоту прерывания для разных спотовых пулов можно посмотреть на странице Spot Instance Advisor.