Amazon SageMaker AI теперь поддерживает вывод с учетом емкости и автоматический откат инстансов
Адреса логических выводов Amazon SageMaker AI теперь поддерживают гибкое выделение ресурсов по приоритетному перечню типов инстансов. Если емкость предпочитаемого типа инстансов недостаточна, SageMaker AI автоматически выбирает следующий вариант из списка, обеспечивая бесперебойное создание адресов и автомасштабирование без ручного вмешательства. Так команды, работающие с моделями искусственного интеллекта и машинного обучения в производственной среде, могут эффективно управлять ограничением емкости и быть уверены, что адреса надежны и при необходимости масштабируются.
При поддержке пула инстансов пользователь задает приоритетный список их типов, по которому идет SageMaker AI, автоматически выделяя ресурсы. Функция применима к созданию, обновлению и масштабированию адресов. При уменьшении масштаба нагрузки SageMaker AI в первую очередь удаляет наименее приоритетные инстансы и, несмотря на сокращение парка, сохраняет предпочитаемую пользователем инфраструктуру. Это работает для адресов с одной моделью, адресов на основе компонентов логического вывода и адресов асинхронного вывода, включая и адреса с масштабированием до нуля. В последнем случае при новом развертывании SageMaker AI начинает с ресурсов пула, указанного как наиболее приоритетный из доступных.
Поскольку типы резервных инстансов различаются по памяти графического процессора и вычислительным возможностям, в приоритетном списке для каждого типа можно отметить отдельную оптимизированную модель. Вы можете выбрать их самостоятельно или воспользоваться рекомендациями SageMaker AI, который автоматически генерирует для каждого типа инстансов оптимизированные для конкретного оборудования конфигурации. Кроме того, метрики CloudWatch для каждого типа инстансов позволяют получить представление о задержках, пропускной способности, загрузке графического процессора и количестве инстансов по типу оборудования в пределах одного адресе.
Функция доступна в следующих регионах: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Канада (Центральная), Южная Америка (Сан-Паулу), Европа (Ирландия, Лондон, Стокгольм, Франкфурт, Цюрих) и Азиатско-Тихоокеанский регион (Джакарта, Мумбаи, Сеул, Сидней, Сингапур, Токио). Дополнительную информацию см. в документации по Amazon SageMaker AI.