AWS предлагает воспользоваться комплексным набором средств, предназначенным для управления рабочими нагрузками научно-исследовательских вычислений с помощью следующих сервисов: Amazon Elastic Compute Cloud (Amazon EC2) для масштабирования объема вычислительных ресурсов по мере необходимости, Amazon Simple Storage Service (Amazon S3) для хранения данных и Amazon Elastic Map Reduce (Amazon EMR) для управления рабочими процессами на базе Hadoop. Спотовые инстансы EC2, в частности, предлагают специализированную модель ценообразования для сценариев пакетной обработки, благодаря которой клиенты получат возможность гибкого выделения ресурсов в нужное время при значительной экономии средств по сравнению с другими моделями ценообразования.


Запускайте спотовые инстансы Amazon EC2 с помощью AWS CloudFormation
Теперь вы можете использовать шаблоны AWS CloudFormation для создания и управления набором связанных ресурсов AWS, включая спотовые инстансы. Для начала работы мы предлагаем три новых шаблона CloudFormation, оптимизированных с целью экономии средств и управления прерываниями.

  • Управляйте асинхронной обработкой с помощью сервисов Amazon SQS и Auto Scaling. Запустить сейчас.
  • Шаблон для нагрузочного тестирования веб-сайтов с помощью Bees with Machine Guns и Auto Scaling. Запустить сейчас.
  • Шаблон распределенных вычислений с использованием StarCluster. Запустить сейчас.

Дополнительные сведения см. в разделе Использование спотовых инстансов и CloudFormation руководства пользователя Amazon EC2.

Работа со спотовыми инстансами в Auto Scaling
Теперь вы можете использовать Auto Scaling для управления спотовыми инстансами. Auto Scaling позволяет размещать заявки на спотовые инстансы Amazon EC2 с помощью стартовых конфигураций, получать предупреждения о запуске и остановке работы инстансов и установить расписание для размещения заявок. Для получения дополнительной информации см. раздел Запуск спотовых инстансов с помощью Auto Scaling руководства пользователя Amazon EC2.

Получайте уведомления о работе спотовых инстансов
Данное учебное пособие с примером кода рассказывает о принципах работы с оповещениями Amazon SNS, призванными сообщать вам об изменениях статуса инстансов Amazon EC2, текущих заявок на спотовые инстансы и спотовых цен в масштабе конкретного региона. Используя новый пример программного кода, вы сможете выполнить настройку приложений, работающих в спотовых инстансах, для более эффективного управления возможными прерываниями. Пример приложения и учебное пособие доступно по ссылке.


Научные исследователи работают со сложными вычислительными рабочими нагрузками, включающими такие задачи, как анализ последовательностей ДНК и моделирование физики элементарных частиц. На эти задачи, вне зависимости от сферы применения, распространяется одна большая проблема: предоставление и выделение экономически эффективных вычислительных циклов. В типичной среде научных вычислений существует большая очередь на доступ к общей инфраструктуре, приобретение выделенного специализированного оборудования занимает много времени и требует привлечения значительных средств.
Независимо от того, являетесь ли вы аспирантом, пишущим выпускную работу, или фармацевтической компанией, ведущей инновационные разработки лекарственных средств, вы должны учесть следующие вопросы в процессе оценки среды для запуска своих приложений.

  • Как быстро я смогу приступить к запуску своих приложений?
  • Смогу ли я исполнять задачи параллельно, чтобы ускорить работу?
  • Какой уровень эластичности (масштабирования) необходим моему приложению?
  • Как я могу оптимизировать приложение для сокращения затрат?

Спотовые инстансы позволяют размещать заявки на неиспользуемые ресурсы Amazon EC2 по расценкам, устанавливаемым клиентом. Клиенты, чьи ставки превышают спотовую цену, получают доступ к свободным спотовым инстансам и могут использовать их для исполнения своих приложений до тех пор, пока заявленная цена не опустится ниже спотовой. Обычно спотовая цена бывает на 50–93 % ниже по сравнению с ценой по запросу. Клиенты, чьи ставки превышают спотовую цену, получают доступ к свободным спотовым инстансам и могут использовать их для исполнения своих приложений до тех пор, пока заявленная цена не опустится ниже спотовой. Для решения ваших вычислительных задач спотовые инстансы могут взаимодействовать с другими сервисами, такими как Amazon S3 и Amazon EMR.

Вот некоторые примеры использования, для которых хорошо подходят спотовые инстансы.

  • Анализ последовательностей генома и распределение данных.
  • Моделирование физики элементарных частиц.
  • Биоинформатика.
  • Молекулярное моделирование.
  • Разработка искусственного интеллекта.
  • Разработка лекарственных средств.
  • Научное сотрудничество и централизованное управление данными.

Платформа AWS была разработана с целью минимизации усилий, связанных с приобретением и настройкой оборудования, а также с управлением собственной ИТ-инфраструктурой. Работу с AWS можно начать с помощью Консоли управления AWS, различных средств управления сторонних разработчиков или подробно описанных в документации API веб-сервисов AWS, предназначенных для управления облачной инфраструктурой и ее обслуживания.

Вы платите только за вычислительную мощность, объем хранилища и другие используемые ресурсы без долгосрочных контрактов или предварительных обязательств.

AWS позволяет выбрать операционную систему, язык программирования, программные средства, платформу приложений и прочие необходимые сервисы. Это упрощает процесс миграции существующих приложений и сохраняет возможность для создания новых.

AWS позволяет расширять или снижать объемы ресурсов в течение нескольких минут без каких-либо очередей. Можно выделять единицы, сотни и даже тысячи серверных инстансов, благодаря чему вы сможете ускорить обработку рабочих нагрузок за счет добавления дополнительных инстансов и их остановки, когда ваши задачи решены.

Платформа создает общее пространство, в котором вы можете обмениваться данными, результатами и методами со своими коллегами.

AWS использует комплексный подход к безопасности и укреплению инфраструктуры, включая физические, операционные и программные средства. Дополнительную информацию см. в разделе Центр безопасности AWS.

Спотовые инстансы позволяют участвовать в торгах за неиспользуемые ресурсы Amazon EC2. За инстансы взимается цена спотовых инстансов, которая устанавливается сервисом Amazon EC2 и периодически колеблется в зависимости от спроса и предложения на ресурсы спотовых инстансов. Для использования спотовых инстансов необходимо подать заявку на спотовый инстанс с указанием типа инстанса, региона, требуемого числа спотовых инстансов и максимальной цены, которую вы готовы заплатить за инстансо-час. Чтобы сравнить максимальную цену с прошлыми ценами на спотовые инстансы, просмотрите историю цен на такие инстансы, которая доступна через интерфейс API сервиса Amazon EC2 и Консоль управления AWS. Если предложенная вами максимальная цена превышает текущую спотовую цену, ваш запрос будет выполнен немедленно и ваши инстансы будут находиться в вашем распоряжении до тех пор, пока вы их не остановите, либо пока спотовая цена не станет выше вашей максимальной цены (в зависимости от того, что произойдет раньше).

В следующей таблице приведены спотовые цены по типам инстансов для зоны доступности с минимальными ценами (обновляется раз в 5 минут).


Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование AWS облагается потребительским налогом Японии. Подробнее.

Заявки на спотовые инстансы можно подавать через консоль управления AWS или интерфейсы API Amazon EC2. Запуск с использованием Консоли управления AWS.

  1. Войдите в Консоль управления AWS и откройте вкладку «Amazon EC2».
  2. Нажмите «Спотовые запросы» на панели навигации слева.
  3. Нажмите «Pricing History», чтобы открыть журнал цен с возможностью сортировки по типу инстанса. Это поможет вам выбрать максимальную цену для заявки. Показанные цены относятся к выбранной зоне доступности. Если не выбрано ни одной зоны доступности, то отображаются цены для каждой зоны доступности в регионе.
  4. Нажмите «Request Spot Instances», и в мастере запуска инстанса выберите AMI и тип инстанса. Введите запрашиваемое количество спотовых инстансов, максимальную цену, а также укажите, является ли заявка постоянной или нет. После выбора пары ключей и группы (групп) безопасности можно подавать заявку на спотовый инстанс.
video-thumb-spot-instances-getting-started
4:13
Начало работы со спотовыми инстансами

Более подробные сведения о порядке подачи заявок на спотовые инстансы через интерфейс API Amazon EC2 см. в разделе «Справка по API Amazon EC2» в последней версии Технической документации EC2.

Дополнительную информацию о работе со спотовыми инстансами, а также о том, как наиболее эффективно их использовать, см. в разделе Избранная документация и учебные пособия.

Процессы создания и переноса приложения для запуска на спотовых инстансах выполняются очень просто. Ниже содержится информация о создании, переносе и тестировании приложений, предназначенных для запуска на спотовых инстансах.

Создание нового приложения
Если у вас есть возможность спроектировать приложение с нуля, рекомендуем вам ознакомиться с разделом Распространенные архитектуры и рекомендации данной веб-страницы, где описаны различные архитектуры, использованные нашими клиентами для спотовых инстансов.

Перенос существующего приложения
Многие приложения были разработаны с учетом отказоустойчивости, поэтому процесс переноса приложения для запуска на спотовых инстансах может быть предельно простым. В процессе переноса рекомендуется принять во внимание следующие рекомендации.

  • Отслеживайте время запуска и остановки спотовых инстансов. Спотовые инстансы запускают асинхронно и могут быть прерваны, когда спотовая цена превысит заявленную. Поэтому важно отслеживать состояние своих заявок и инстансов. Самый простой способ узнать текущий статус спотовых инстансов – отслеживать заявки на спотовые инстансы и выполняемые инстансы через Консоль управления AWS или с помощью API Amazon EC2.
  • Укажите максимальную цену инстанса. Помните, что максимальная цена, которую вы отправляете в составе запроса, не означает фактическую цену для предстоящей оплаты на почасовой основе – это максимальная цена, которую вы готовы заплатить за поддержание инстансов в рабочем состоянии. Для определения максимальной цены рекомендуется использовать журнал спотовых цен в Консоли управления AWS или просматривать его с помощью API Amazon EC2.
  • Убедитесь в отказоустойчивости своего приложения. Поскольку спотовые инстансы могут быть остановлены без предупреждения, приложения должны сохранять результаты работы на случай возможного прерывания. Эту задачу можно выполнить несколькими способами, например включить в приложение добавление контрольных точек или разделить задание на отдельные сегменты. Чтобы обезопасить данные, для их хранения рекомендуется использовать тома Amazon EBS.

См. также раздел Распространенные архитектуры и рекомендации, так как в нем можно найти советы конкретно для вашей архитектуры.

Тестирование конфигурации
При использовании спотовых инстансов важно убедиться в том, что ваше приложение обладает отказоустойчивостью и будет корректно обрабатывать прерывания. И хотя мы пытаемся корректно завершать работу ваших инстансов, приложение должно быть готово к мгновенной остановке. Чтобы протестировать приложение, можно запустить его на инстансе по запросу, а затем внезапно завершить его работу. Это позволит определить степень отказоустойчивости приложения и его способность корректно обрабатывать внезапные прерывания.

video-thumb-manage-spot-interruption
3:59
Порядок управления прерываниями спотовых инстансов

Поскольку спотовые инстансы могут быть остановлены без предупреждения, приложения должны сохранять результаты работы на случай возможного прерывания. Эту задачу можно выполнить несколькими способами, в том числе путем разбивки всего задания на сегменты (с использованием архитектуры на базе матрицы, Hadoop или очереди), либо путем добавления в приложение контрольных точек. В данном разделе содержится обзор нескольких архитектур, часто используемых клиентами при работе со спотовыми инстансами.

Apache Hadoop – это программная платформа с открытым исходным кодом, поддерживающая распределенные приложения с интенсивной обработкой данных. Она позволяет приложениям работать с несколькими тысячами узлов для обработки петабайт данных с помощью двух основных компонентов: (1) отказоустойчивой системы распределенного хранилища и (2) методики MapReduce, поддерживающей эффективный исчерпывающий анализ больших наборов распределенных данных. Hadoop разработан для стандартного оборудования, может сохранять данные как с использованием схемы, так и без нее, и предлагает линейную масштабируемость до уровня в несколько петабайт. Компании Backtype и Fliptop используют Amazon Elastic MapReduce, управляемый сервис Hadoop, упрощающий распределение, настройку и управление кластерами Hadoop, а также работу со спотовыми инстансами. Это позволяет значительно снизить издержки, связанные с обработкой данных в больших масштабах.

Amazon Elastic MapReduce упрощает сочетание спотовых инстансов с инстансами по запросу и зарезервированными инстансами в единый кластер обработки данных. Это позволяет снизить издержки и ускорить процесс обработки данных, устраняя риски, связанные с возникновением сбоев в кластере из-за колебаний цен на рынке спотовых инстансов. Если работа спотового инстанса прерывается из-за изменения спотовой цены, задания, исполняемые в этих инстансах, просто добавляются в очередь, которая будет обработана оставшимися инстансами по запросу. Клиенты могут либо продолжить обработку данных на кластере меньшего размера, либо динамически добавить дополнительные инстансы в кластер, чтобы заменить прерванные инстансы.

video-thumb-emr-spot
3:27
Использование спотовых инстансов с EMR

Несколько примеров сценариев использования, идеально подходящих для работы спотовых инстансов с Elastic MapReduce, включают области применения, в которых клиенты могут выполнять масштабирование, чтобы ускорить исполнение приложения; области применения, в которых гибкость по времени завершения можно использовать для значительного снижения издержек; постоянные кластеры Hadoop, в которых значительные колебания нагрузки требуют частого изменения размеров; а также снижение издержек, связанных с тестированием использующих Hadoop приложений.

Представьте, что у вас есть задание, которое обычно исполняется 4 инстансами по запросу в течение 14 часов, и затраты на исполнение которого составляют 28 USD. Теперь представьте, что вы добавили 5 дополнительных спотовых инстансов (так как задание масштабируется нелинейно) и теперь задание можно исполнить за 7 часов. Общие затраты на исполнение задания теперь будут составлять 15,75 USD с учетом того, что спотовая цена была на 90 % меньше цены по запросу. За счет добавления спотовых инстансов нам удалось снизить затраты времени на 50 % и снизить издержки на 44 %, как показано ниже.

emr

Сценарий №1. Спотовые инстансы не используются
4 инстанса по запросу * 14 ч * 0,50 USD = 28 USD

Сценарий №2. Инстансы по запросу с дополнительными спотовыми инстансами
4 инстанса по запросу * 7 ч * 0,50 USD = 14 USD
5 спотовых инстансов * 7 ч * 0,05 USD = 1,75 USD
Итого = 15,75 USD

Снижение затрат времени: 50 %
Снижение издержек: ~44 %

Для получения дополнительной информации о сервисе Amazon Elastic MapReduce см. веб-страницу Amazon Elastic MapReduce или Руководство по началу работы с Amazon Elastic MapReduce.

Распределенные сети – это форма распределенных вычислений, позволяющих пользователю использовать несколько инстансов для выполнения параллельных расчетов. Компании Numerate и Scribd используют распределенные вычисления со спотовыми инстансами, так как этот тип архитектуры может использовать встроенную эластичность и низкую стоимость спотовых инстансов для ускорения расчетов и снижения издержек.

Для начала работы пользователь должен разбить задачу на дискретные элементы (задания), а затем отправить эту задачу на ведущий узел. Задания будут выстроены в очередь, и процесс-планировщик распределит задачу между другими инстансами распределенной сети (рабочими узлами). Как только рабочий узел вернет результат вычислений, на основной узел будет отправлено уведомление, после чего рабочий узел может приступить к исполнению следующей операции из очереди. Если при обработке задания произойдет сбой или работа инстанса будет прервана, планировщик автоматически вернет задание в очередь.

grid_computing

В процессе проектирования приложения важно выбрать соответствующий объем задачи для каждого из заданий. Мы рекомендуем разбивать задания на логические группы в зависимости от времени их обработки. В типовых сценариях время обработки рабочей нагрузки не должно превышать одного часа, чтобы в случае ее повторной обработки не возникали дополнительные затраты (если работа инстанса будет прервана, час его работы не оплачивается).

video-thumb-launching-cluster-spot
7:50
Запуск кластера на спотовых инстансах Amazon EC2 с использованием StarCluster

Для создания кластера многие клиенты используют планировщики распределенных вычислений Oracle Grid Engine и UniCloud. Если у вас есть долгосрочные рабочие нагрузки, рекомендуется создавать ведущий узел на инстансах по запросу или зарезервированных инстансах, а рабочие узлы – на спотовых инстансах или комбинации инстансов по запросу, зарезервированных или спотовых инстансов. Если же ваши рабочие нагрузки обычно продолжаются менее часа или вы запускаете тестовую среду, можно использовать только спотовые инстансы. Вне зависимости от используемой конфигурации, мы рекомендуем вам создать скрипт для автоматического повторного добавления инстансов при их прерывании. Управлять этим процессом позволяют некоторые готовые инструменты, например StarCluster.

Для получения дополнительной информации о создании собственной распределенной сети посмотрите обучающее видео по StarCluster или см. Руководство по началу работы с распределенными вычислениями. Можно попробовать и запуск шаблона CloudFormation для StarCluster. Запустить сейчас.

Многие клиенты, например DNAnexus, разработали архитектуры на базе очередей, которые позволяют обработать потенциальные сбои при исполнении задания. Для приложений такого типа можно легко настроить на работу со спотовыми инстансами с помощью соответствующих API.

Например, представьте приложение, использующее спотовые инстансы Amazon EC2 и сервис Amazon SQS. Приложение использует три очереди SQS: «К обработке», «Обработанные» и «Исключения». В зависимости от глубины очереди ведущий узел будет использовать API для предоставления спотовых инстансов в целях масштабирования рабочих узлов. Спотовый инстанс можно запустить и в качестве постоянной заявки – если произойдет сбой, инстанс автоматически будет перезапущен. Когда спотовый инстанс будет запущен, приложение определит используемые очереди посредством чтения пользовательских данных, поступивших в инстанс во время запуска, или конфигурации, сохраненной удаленно в сервисах Amazon SimpleDB или Amazon S3. Затем рабочие узлы, исполняемые на спотовых инстансах, выберут следующее задание из очереди «К обработке» и заблокируют его. Блокировка задания призвана защитить его от одновременного исполнения на других рабочих узлах в течение определенного времени или до завершения исполнения всей задачи. После успешной обработки задания рабочий узел опубликует ответ с результатами в очередь «Обработанные», где ведущий узел может выполнить дополнительные логические операции. В противном случае, если при обработке задания возникнет сбой из-за чрезмерной продолжительности или прерывания рабочего узла, задание будет перемещено в очередь «Исключения», где ведущий узел сможет выполнить дополнительные логические операции, например повторно добавить задание в очередь. Если сбой при обработке задания будет вызван прерыванием работы спотового инстанса, ведущий узел может также запустить новые спотовые инстансы при необходимости.

queue

При использовании подхода на базе очередей важно убедиться в том, что процесс обработки элементов задачи является идемпотентным (позволяющим обработать элементы несколько раз), чтобы при возобновлении обработки прерванного задания не возникало проблем.

Для получения дополнительной информации о создании подобных архитектур см. Руководство по созданию масштабируемых приложений Amazon EC2 с помощью Amazon SQS или Пример процессора заданий Amazon SQS и Amazon EC2. Если вы хотите запустить шаблон, управляющий очередями, ознакомьтесь с шаблоном асинхронной обработки на базе очередей. Запустить сейчас.

В зависимости от колебаний спотовой цены, вызванных изменениями в структуре спроса или предложения спотовых мощностей, запросы на спотовые инстансы могут исполняться с задержками, а выделенные инстансы могут останавливать работу без предупреждения. Чтобы защитить свои задачи от потенциальных прерываний, мы рекомендуем добавить в приложение контрольные точки в целях периодического сохранения.

Некоторые клиенты, например BrowserMob, управляют прерываниями посредством размещения данных в контрольных точках. Рекомендуется задать максимально допустимое время для повторной обработки и выполнять размещение данных в контрольных точках с учетом этого значения.

Существует несколько способов создания контрольных точек в приложении.

  • Amazon EBS. Пользователи могут связать дополнительный том Amazon EBS со своим спотовым инстансом и периодически выгружать состояние приложения на этот том. Если вы решите использовать этот способ, важно убедиться в том, что очистка буфера выполняется регулярно и все состояния находятся на томе Amazon EBS.
  • Amazon S3. Amazon S3 – это надежное хранилище, которое можно использовать для записи данных. Если ваше приложение позволяет выгружать результаты в виде отдельных файлов в процессе обработки данных, вы можете использовать сервис Amazon S3 для сохранения своих результатов. Затем вы можете передать URL-адрес корзины другому процессу для считывания результатов.
  • Amazon RDS. Если вам нужно структурированное хранилище данных, для сохранения любых результатов можно использовать Amazon RDS. Так как Amazon RDS позволяет использовать базы данных MySQL или Oracle, вы можете настроить запрос таким образом, чтобы он не подтверждал задачу до тех пор, пока не будет явно дана команда commit. Этот способ позволит естественным образом выполнить откат изменений, если процесс будет прерван.

При использовании подхода, основанного на использовании контрольных точек, убедитесь в том, что рабочий процесс между контрольными точками является идемпотентным, чтобы можно было выполнить повторную обработку в случае возобновления прерванного задания.

Хотите поделиться собственным решением для управления прерываниями при использовании спотовых инстансов?

DNAnexus
DNAnexus предоставляет унифицированную систему для управления данными и анализа последовательностей для исследователей и центров секвенирования ДНК. DNAnexus использует спотовые инстансы Amazon Elastic Compute Cloud (Amazon EC2) для проведения всех операций анализа ДНК, а инстансы по требованию Amazon EC2 выполняют обработку интерактивных услуг компании, включая портал для клиентов и средства визуализации. Кроме того, DNAnexus использует Amazon Simple Storage Service (Amazon S3) для удовлетворения растущих потребностей компании в ресурсах хранения, объем которых будет исчисляться уже не в терабайтах, а в петабайтах данных.

BioTeam
BioTeam Inc. – независимая консалтинговая компания, организованная и управляемая группой ученых, избравших своей целью ликвидацию разрыва между наукой и высокопроизводительными информационными технологиями. Благодаря глубине и широкому профилю знаний специалистов компания предлагает разнообразные профессиональные услуги. Компания использует платформу Amazon AWS для решения проблем, возникающих у клиентов, с 2007 года. Благодаря многолетнему опыту работы в области традиционных высокопроизводительных вычислений, а также кластерных и распределенных вычислительных сред компания BioTeam предлагает практические услуги клиентам, желающим использовать облачные вычисления. Подробнее о компании BioTeam.

CycleComputing
CycleComputing – лидер в области разработки программного обеспечения для создания высокопроизводительных вычислительных кластеров с высокой пропускной способностью с помощью открытых технологий на базе Amazon EC2. Решения CycleComputing поддерживают научные, финансовые, деловые и инженерные приложения. Компании из списка Fortune 500 полагаются в своей работе на решение CycleCloud™ и ПО CycleServer™, работающее в сочетании с инфраструктурами с открытым исходным кодом Condor, SGE и Hadoop, при выполнении развертывания критически важных деловых приложений (включая разработку лекарственных средств, расчеты для процессов управления рисками, биоинформатику и расчетную гидродинамику) на публичных облачных платформах, таких как Amazon EC2, и внутренних ресурсах. Подробнее о компании CycleComputing.

Eagle Genomics
Eagle Genomics использует сервисы Amazon EBS, EC2, RDS, S3, функции балансировки нагрузки и Auto Scaling, а также инструменты командной строки для обработки и анализа геномных данных для фармацевтических, сельскохозяйственных и ветеринарных компаний, а также научных центров. Недавно компания Eagle Genomics использовала спотовые инстансы при разработке передовой методики исследований для компании ARK Genomics в Рослинском интституте (Эдинбург, Великобритания).

video-thumb-spot-instances-getting-started
4:13
Начало работы со спотовыми инстансами

Обучающее видео. How to Launch a Spot Instance
Просмотрите это обучающее видео – оно объяснит, как выполнить запуск вашего первого спотового инстанса. В нем рассказывается, как разместить заявку, определить время выполнения инстанса, а также как удалить инстанс и завершить его выполнение.

Руководство. Начало работы со спотовыми инстансами
Данное руководство содержит подробную информацию о порядке работы со спотовыми инстансами, а также о том, как их использовать с максимальной эффективностью.

video-thumb-when-to-use-spot-instances
6:02
В каких случаях рекомендуется использовать спотовые инстансы Amazon

Обучающее видео. Типичные примеры использования спотовых инстансов
В этом видео рассказывается о примерах использования спотовых инстансов. В этом видео рассказывается о нескольких компаниях-клиентах, в том числе Numerate, Clarity Solutions, Ooyala и BrowserMob, и о том, как они используют спотовые инстансы в своих архитектурах.

video-thumb-manage-spot-interruption
3:59
Порядок управления прерываниями спотовых инстансов

Обучающее видео. Порядок работы при прерывании
Просмотрите это видео – оно объяснит, как клиенты управляют прерыванием спотовых инстансов.

Руководство. Начало работы со спотовыми инстансами
В этом учебном пособии по программному коду представлен краткий обзор программирования подачи заявок, описания и аннуляции спотовых инстансов.

Руководство: Advanced Programming Guide for Spot Instances
В этом кратком учебном пособии по программному коду представлен краткий обзор более расширенных методик программирования и управления прерываниями спотовых инстансов.

Руководство: How to Track Spot Instance Activity with the Spot Notifications Sample Application
В этом учебном пособии по программному коду наглядно рассказывается (и приводится пример) о том, как создавать и управлять уведомлениями Amazon SNS об изменении статуса инстансов Amazon EC2, текущими заявками на спотовые инстансы и спотовыми ценами в масштабе конкретного региона. Используя этот пример программного кода, вы сможете выполнять настройку приложений, работающих на спотовых инстансах, для более эффективного управления возможными прерываниями.

video-thumb-spot-bidding-strategy
4:34
Выработка стратегии подачи заявок на спотовые инстансы

Обучающее видео. Deciding on Your Spot Bidding Strategy
Просмотрите это видео – оно содержит советы и секреты подачи заявок на спотовые инстансы. В нем рассказывается о нескольких стратегиях подачи заявок, которые успешно применяются нашими клиентами.

video-thumb-spot-emr
3:27
Использование спотовых инстансов с EMR

Обучающее видео. Launching Amazon Elastic MapReduce Job Flows with Spot Instances
Просмотрите это видео – оно объяснит, как запустить рабочие процессы Amazon Elastic MapReduce на спотовых инстансах. В нем описан порядок запуска кластера спотовых инстансов и порядок закрытия одного из них в консоли управления AWS.

video-thumb-launching-cluster-spot
7:50
Запуск кластера на спотовых инстансах Amazon EC2 с использованием StarCluster

Обучающее видео. How to Launch a Cluster on Spot
Крис Дагдигиан из компании BioTeam рассказывает о том, как запустить кластер за 10-15 минут на спотовых инстансах Amazon EC2 с использованием StarCluster. StarCluster – это инструмент на основе открытого кода, разработанный в лаборатории MIT, который позволяет быстро настроить новый кластер Oracle Grid Engine Cluster. В этой презентации Chris рассказывает о процессе установки, настройки и запуска простых задач в кластере. При этом Chris использует спотовые инстансы, что потенциально позволяет быстрее выполнить задачу и обеспечить экономию средств до 93 % по сравнению с ценой инстансов по требованию. Если вам интересно это учебное пособие, то вас возможно также заинтересует шаблон StarCluster CloudFormation.

video-thumb-launching-spot
7:40
Запуск спотовых инстансов в Amazon VPC

Обучающее видео. Launching Spot Instances in Amazon VPC
Просмотрите это видео – оно объяснит, как запускать спотовые инстансы в Amazon VPC. В нем рассказывается, как разместить заявку, определить время выполнения инстанса, а также как удалить инстанс и завершить его выполнение.

Публичные наборы данных AWS являются централизованным репозиторием, где можно выполнять обмен данными и эффективно интегрировать их в приложения, использующие облачные технологии AWS. Примеры: проект 1000 Genomes – международный публично-частный консорциум, занимающийся созданием самой подробной на данный момент карты генетических вариаций человека; Annotated Human Genome Data for MySQL – проект организации Ensemble, охватывающий геномы более 50 видов, включая человека; Human Liver Cohort – проект компании Sage Bionetwork, выполняющий анализ экспрессии генов в образцах печени. Для получения дополнительной информации см. страницу Публичные наборы данных.

Благодаря программе «AWS в сфере образования» преподаватели, научные работники и студенты могут подать заявку на получение кредитов на бесплатное пользование, чтобы задействовать инфраструктуру Amazon Web Services, доступную по запросу, для преподавания расширенных курсов, решения научных задач или новых исследовательских проектов. Дополнительную информацию об этой программе см. на странице AWS в сфере образования.