Возможности спотовых инстансов Amazon EC2

Группы Amazon EC2 Auto Scaling можно использовать для запуска спотовых инстансов и управления ими, поддержания доступности приложения, а также автоматического вертикального масштабирования спотовых ресурсов Amazon EC2 в соответствии с заданными условиями и максимальными ценами. Подробнее об использовании Auto Scaling со спотовыми инстансами см. в Руководстве для разработчиков по Auto Scaling. Для масштабирования других сервисов в дополнение к EC2 можно использовать AWS Auto Scaling.

Использование групп инстансов в Amazon EC2 позволяет за один вызов API выделить вычислительные ресурсы с использованием разных типов инстансов EC2, нескольких зон доступности и различных схем приобретения. Это позволяет оптимизировать масштаб, производительность и затраты. Сервис позволяет указать объем ресурсов по требованию и спотовых ресурсов, которые будут запускаться в рамках группы инстансов EC2. Можно также определить предпочитаемые типы инстансов и настроить масштабирование ресурсов на основе ядер, объема памяти или количества инстансов. Подробнее см. в этой публикации в блоге AWS.

Применение Amazon EC2 Auto Scaling обеспечивает доступ ко всем возможностям групп инстансов EC2: выделение и автоматическое масштабирование вычислительных ресурсов с использованием любых типов инстансов EC2, зон доступности и способов приобретения инстансов выполняется в рамках одной группы Auto Scaling. Те же возможности доступны и при использовании спотовых групп.

Стратегии распределения в EC2 Auto Scaling, группах EC2 и спотовых группах определяют, каким образом спотовые инстансы группы будут пополняться из пулов спотовых инстансов. Стратегия с оптимизацией ресурсов пытается выделить спотовые инстансы из самого доступного пула, анализируя метрики ресурсов. Эта стратегия хорошо подходит для рабочих нагрузок с высокой стоимостью прерывания, таких как большие данные и аналитика, рендеринг изображений и мультимедийного контента, машинное обучение и высокопроизводительные вычисления. Стратегия распределения с использованием минимальной цены запускает спотовые инстансы по принципу диверсификации по N пулам с самой низкой ценой.

Спотовые инстансы можно запускать с помощью API RunInstances с одним дополнительным параметром. Спотовые инстансы, запущенные с помощью RunInstances, ничем не отличаются от других инстансов EC2. Они обеспечивают надежность, безопасность, производительность, контроль и эластичность Amazon EC2 при низких ценах, зависящих от рыночных тенденций. Просто укажите спотовые инстансы в качестве опции при запросе ресурсов. Подробнее о запуске спотовых инстансов с помощью API RunInstances.

Спотовые инстансы можно переводить в режим гибернации или останавливать (выключать) в случае прерывания, а не завершать их работу, когда ресурсы больше недоступны. Когда ресурсы станут доступны, предыдущее состояние инстансов будет восстановлено, что позволит инстансам быстрее возобновить работу. Подробнее об остановке/запуске и гибернации.

При использовании спотовых инстансов расходы никогда не превышают установленный вами максимальный уровень. Если спотовая цена превысит максимальную цену, которую вы готовы заплатить за определенный инстанс или если ресурс больше недоступен, работа инстанса будет автоматически завершена (или он будет остановлен/переведен в режим гибернации, если такое поведение будет выбрано в постоянном запросе). Работая со спотовыми инстансами, вы получаете три возможности эффективнее отслеживать и контролировать запуск и завершение работы инстансов (или их остановку/перевод в режим гибернации).

Предупреждения о завершении работы
Если перед прерыванием работы инстанса требуется сохранить его состояние, загрузить итоговые лог-файлы или удалить спотовые инстансы из Elastic Load Balancer, воспользуйтесь предупреждениями о завершении работы, которые выдаются за две минуты до прерывания работы инстанса. Подробнее об управлении прерываниями работы

Постоянные запросы
При необходимости можно настроить запрос на спотовый инстанс таким образом, чтобы он оставался открытым. Это позволит запустить новый инстанс вместо остановленного. Кроме того, инстансы на основе Amazon EBS можно останавливать после прерывания работы и перезапускать, когда среди спотовых инстансов появятся ресурсы по необходимой цене. Подробнее о постоянных и однократных запросах.

Фиксированная продолжительность
Если требуется непрерывное выполнение рабочих нагрузок в течение 1–6 часов, при запросе спотовых инстансов можно также указать требование по продолжительности работы. Подробнее о фиксированной продолжительности работы для спотовых инстансов. 

Клиенты Amazon Web Services могут использовать спотовые инстансы для запуска кластеров Amazon Elastic MapReduce (EMR). Это значительно сокращает стоимость обработки больших объемов данных на управляемых кластерах Hadoop. Клиенты могут запускать кластеры EMR, легко совмещая спотовые инстансы с инстансами по требованию и/или с зарезервированными инстансами благодаря функции групп инстансов. Подробнее о настройке кластера EMR со спотовыми инстансами см. в Руководстве пользователя Amazon EC2.

Сервис AWS CloudFormation обеспечивает легкое планирование и развертывание группы ресурсов AWS, включая спотовые инстансы EC2, и позволяет задать любую схему зависимостей или особые параметры для работы приложений. Пример системы высокопроизводительных вычислений с применением CloudFormation и спотовых инстансов см. в демонстрации cfncluster. Подробнее о настройке CloudFormation со спотовыми инстансами см. в Руководстве пользователя Amazon EC2.

Клиенты Amazon Elastic Container Service (ECS) имеют возможность запускать кластеры Amazon ECS на спотовых инстансах для снижения эксплуатационных затрат, связанных с запуском контейнерных приложений в Amazon ECS. Консоль Amazon ECS также тесно интегрирована со спотовыми инстансами Amazon EC2, при этом клиенты могут использовать мастер создания кластеров, чтобы легко настроить кластер ECS со спотовыми инстансами. Подробнее о ECS см. на странице продукта Amazon ECS.

AWS Batch осуществляет планирование и выполнение пакетных вычислительных рабочих нагрузок на AWS. AWS Batch динамически запрашивает от имени пользователя спотовые инстансы, сокращая расходы на выполнение пакетных заданий. Подробнее о Batch см. на странице продукта AWS Batch.

Thinkbox Deadline упрощает развертывание на EC2 группы рендеринга с использованием спотовой группы через портал AWS. Можно выбрать нужный сторонний продукт, такой как Autodesk Maya, Autodesk 3dsMax, и выполнить развертывание спотовой группы EC2. Deadline 10 поставляется с файловой системой для автоматической синхронизации файлов пользователя с ресурсами с Amazon S3. Подробнее о Deadline см. на веб-сайте Thinkbox Deadline.

Можно указать при запуске незашифрованный снимок состояния и запросить спотовый инстанс создать один или несколько зашифрованных томов EBS при запуске инстанса. Укажите параметр «Encrypted: true» для шифрования при сопоставлении блочных устройств при отправке спотового запроса. Если у вас уже есть зашифрованный том EBS, необходимо указать идентификатор снимка состояния без флага «Encrypted», чтобы спотовый инстанс продолжил создавать зашифрованные тома в существующем зашифрованном снимке состояния EBS.

При запросе спотового инстанса по умолчанию в качестве максимальной цены, которую пользователь готов платить за час работы инстанса, будет установлена цена по требованию. Можно также осуществлять дополнительный контроль над бюджетом спотовых инстансов, указывая максимальную цену, которую вы готовы платить за час работы инстанса. Вы будете оплачивать спотовые инстансы по ценам, которые действуют в период работы инстансов. Если спотовая цена становится больше указанной максимальной цены, работа инстанса будет автоматически завершена, он будет остановлен или переведен в режим гибернации. Подробнее об использовании спотовых инстансов.

Используя функцию перебалансировки емкости для автоматического масштабирования EC2, можно заблаговременно управлять жизненным циклом спотовых инстансов. Перебалансировка емкости использует новую рекомендацию по перебалансировке инстансов EC2 – сигнал, который отправляется, когда спотовый инстанс подвержен повышенному риску прерывания работы. Сигнал может поступить раньше, чем двухминутное уведомление о прерывании работы спотового инстанса, что позволяет заблаговременно перераспределить рабочую нагрузку на новые или существующие спотовые инстансы, которые не подвержены повышенному риску прерывания работы. Функция перебалансировки емкости в Автоматическом масштабировании EC2 пытается автоматически действовать на опережение, чтобы заменять спотовые инстансы на новые, как только обнаруживается сигнал рекомендации о перебалансировке.

Просмотрите дополнительные сведения о перебалансировке емкости.

Можно использовать подключаемый модуль спотового парка для Jenkins или Atlassian Bamboo, чтобы выполнять задачи по сборке в рамках непрерывной интеграции на спотовых инстансах.