Amazon SageMaker HyperPod теперь поддерживает спотовые инстансы
Amazon SageMaker HyperPod теперь поддерживает спотовые инстансы. С точки зрения затрат на вычислительные ресурсы графических процессоров, экономия от их использования по сравнению с инстансами HyperPod по требованию может достигать 90 %. По мере масштабирования рабочих нагрузок ИИ оптимизация затрат на инфраструктуру приобретает критическую важность. Интеграция спотовых инстансов в SageMaker HyperPod позволяет решить эту задачу, автоматически задействуя свободные мощности EC2 со значительными скидками. При этом клиентам по-прежнему доступен управляемый сервис ИИ.
С помощью спотовых инстансов организации могут экономично выполнять отказоустойчивые рабочие нагрузки любого масштаба. Чтобы найти баланс между оптимизацией затрат и обеспечением гарантированной доступности, спотовые инстансы можно комбинировать с инстансами по требованию. Эта функция доступна в кластерах HyperPod EKS и интегрируется с Karpenter для интеллектуального автомасштабирования, которое обеспечивается за счет автоматического определения доступной емкости спотовых инстансов и обработки прерываний в работе инстансов.
Спотовые инстансы можно включить при создании групп инстансов через API CreateCluster или в консоли AWS. Эта функция поддерживает все типы инстансов, доступные в HyperPod, включая инстансы с ЦПУ и инстансы с графическими процессорами. Доступность ресурсов зависит от предложения EC2, а также от региона и типа инстанса. Поддержка спотовых инстансов доступна во всех регионах, где в данный момент предоставляется SageMaker HyperPod. Подробнее см. в документации.