Студия Amazon SageMaker теперь поддерживает индексацию SOCI для ускоренного запуска контейнеров
Сегодня AWS объявляет о поддержке индексации по технологии SOCI (Seekable Open Container Initiative) в Студии Amazon SageMaker, что позволит на 30–50 % сократить время запуска контейнеров при работе с пользовательскими образами. Студия Amazon SageMaker – это полностью интегрированная браузерная среда для комплексной разработки моделей машинного обучения. Студия SageMaker предоставляет готовые образы контейнеров для популярных платформ машинного обучения, таких как TensorFlow, PyTorch и Scikit-Learn, для быстрой настройки среды. Однако, если специалистам по работе с данными нужно адаптировать среды для конкретных примеров использования с помощью дополнительных библиотек, зависимостей или конфигураций, они могут создавать и регистрировать собственные образы контейнеров с предварительно настроенными компонентами для обеспечения согласованности между проектами. С постоянным усложнением рабочих нагрузок в сфере машинного обучения размеры таких пользовательских образов контейнеров значительно возросли. В результате их время запуска достигает нескольких минут, что затрудняет итеративную разработку моделей машинного обучения, где необходимы быстрые эксперименты и создание прототипов.
Индексирование SOCI решает эту проблему за счет отложенной загрузки образов контейнеров. Сначала выполняется только загрузка компонентов, необходимых для запуска приложений, а дополнительные файлы загружаются по требованию, когда необходимо. Вместо нескольких минут ожидания полной загрузки собственных образов пользователи могут приступить к продуктивной работе за считанные секунды, пока среда завершает инициализацию в фоновом режиме. Чтобы использовать индексацию SOCI, создайте индекс SOCI для собственного образа контейнера с помощью таких инструментов, как Finch CLI, nerdctl или Docker с SOCI CLI, отправьте индексированный образ в Эластичный реестр контейнеров Amazon (Amazon ECR) и укажите URI индекса образа при создании ресурсов образа в SageMaker.
Индексирование SOCI поддерживается во всех регионах AWS, где доступна Студия Amazon SageMaker. Подробнее об использовании индексирования SOCI для пользовательских образов Студии SageMaker см. в разделе Добавление собственного образа SageMaker в руководстве по Amazon SageMaker для разработчиков.