Объявление о маршрутизации закрепленных сеансов для получения логических выводов в Amazon SageMaker
Сегодня мы объявляем о доступности в Amazon SageMaker функции маршрутизации закрепленных сеансов, которая помогает заказчикам повысить производительность и удобство работы своих приложений с генеративным ИИ благодаря использованию ранее обработанной информации. Сервис Amazon SageMaker упрощает развертывание моделей машинного обучения, включая базовые модели (FM), для отправки запросов на логические выводы с оптимальным соотношением цены и качества для любых вариантов использования.
После включения закрепленных сеансов все запросы к одному сеансу будут направляться к одному инстансу, позволяя приложению машинного обучения использовать ранее обработанную информацию повторно, что сокращает задержку и повышает удобство работы пользователей. Это особенно ценно, когда заказчики хотят использовать большие объемы данных или нуждаются в удобном интерактивном интерфейсе. Используя свои предыдущие запросы на получение логических выводов, заказчики могут использовать эту функцию для создания в SageMaker инновационных приложений с ИИ с сохранением состояния. Для этого заказчикам нужно будет создать идентификатор сеанса в своем первом запросе, а затем использовать этот идентификатор сеанса, чтобы указать, что SageMaker должен направлять все последующие запросы в тот же инстанс. По завершении сеансы также можно удалять, чтобы освободить ресурсы для новых сеансов.
Эта функция доступна во всех регионах, где предоставляется SageMaker. Подробнее о развертывании моделей в SageMaker можно узнать здесь, а подробнее об этой функции – в нашей документации.