Amazon SageMaker AI сокращает время горизонтального масштабирования логического вывода генеративного ИИ почти в два раза благодаря автоматическому кэшированию образов контейнеров
Логический вывод Amazon SageMaker теперь поддерживает кэширование образов контейнеров, что позволяет максимум в 2 раза ускорить комплексное масштабирование моделей генеративного ИИ во время событий горизонтального масштабирования. Когда адрес горизонтально масштабируется, сервис предварительно кэширует образ контейнера, чтобы новые инстансы могли быстрее обслуживать трафик, не дожидаясь получения больших образов контейнеров из Amazon ECR.
Рабочие нагрузки генеративного ИИ обычно используют большие образы контейнеров (10 и более ГБ) для платформ глубокого обучения и обслуживания моделей. Ранее каждый новый инстанс, запускаемый во время горизонтального масштабирования, должен был извлекать полный образ из ECR, что увеличивало задержку на несколько минут при холодном запуске. Кэширование образов контейнеров устраняет эту проблему, предварительно загружая образ, чтобы запускать новые инстансы с контейнером, уже доступным локально. Клиентам не нужно вносить какие-либо изменения. Сервис автоматически кэширует любой URI образа, указанный в конфигурации адреса или компонента логического вывода. Эта возможность поддерживает типы инстансов ускорителей, адреса для одной модели и адреса на основе компонентов логического вывода.
Благодаря этому обновлению логический вывод SageMaker теперь предлагает комплексный пакет оптимизации масштабирования для генеративного ИИ: метрики параллелизма с задержкой менее минуты для максимум в 6 раз более быстрого обнаружения нагрузки, кэширование контейнеров в хранилище инстансов для ускорения масштабирования существующих инстансов и кэширование образов контейнеров для ускорения масштабирования новых инстансов максимум в 2 раза.
Кэширование образов контейнеров доступно во всех коммерческих регионах AWS, в которых поддерживается логически вывод SageMaker. Дополнительные сведения см. в блоге о запуске.