Amazon SageMaker HyperPod теперь поддерживает автомасштабирование с помощью Karpenter
Amazon SageMaker HyperPod теперь поддерживает автомасштабирование управляемых узлов с помощью Karpenter, что позволяет клиентам автоматически масштабировать кластеры в соответствии с требованиями динамического анализа и обучения. Для рабочих нагрузок, связанных с логическими выводами в реальном времени, требуется автомасштабирование, чтобы справляться с непредсказуемым поведением трафика, не отступая от соглашений об уровне обслуживания, и при этом оптимизировать затраты. Однако организации часто сталкиваются с эксплуатационными издержками, связанными с установкой, настройкой и обслуживанием сложных решений по автомасштабированию. Автомасштабирование узлов под управлением HyperPod устраняет однообразные трудные задачи, связанные с настройкой и обслуживанием Karpenter, а также обеспечивает интегрированные возможности безопасности и отказоустойчивости.
Автомасштабирование на HyperPod с помощью Karpenter позволяет клиентам точно и быстро адаптировать вычислительные ресурсы графического процессора к пиковым нагрузкам трафика. В периоды низкого спроса используемые узлы можно сократить до нуля, не поддерживая выделенную инфраструктуру контроллеров, а после выбирать узлы с учетом рабочих нагрузок, оптимизируя типы инстансов и затраты. Для рабочих нагрузок, связанных с логическими выводами, это обеспечивает автомасштабирование емкости для работы с всплесками трафика, снижение затрат за счет интеллектуальной консолидации узлов в периоды простоя и беспрепятственную интеграцию с управляемыми событиями автомасштабирующими модулями, такими как KEDA. Рабочие нагрузки обучения также выигрывают от автоматической оптимизации ресурсов во время разработки модели. Включить автомасштабирование на HyperPod можно с помощью API UpdateCluster, установив режим автомасштабирования на «Включить», а AutoScalerType – на «Karpenter».
Эта функция доступна во всех регионах AWS, где поддерживаются кластеры Amazon SageMaker HyperPod EKS. Дополнительные сведения об автомасштабировании в SageMaker HyperPod с помощью Karpenter см. в руководстве пользователя и блоге.