Поддержка API с совместимостью с OpenAI для адресов логического вывода в Amazon SageMaker AI
Amazon SageMaker для логического вывода теперь поддерживает API-интерфейсы, совместимые с OpenAI, что позволяет использовать уже привычные вам инструменты и платформы, такие как пакет средств разработки ПО (SDK) OpenAI, LangChain и Strands Agents, для непосредственного подключения к адресам SageMaker. Для переключения на них потребуется только изменить URL-адреса без необходимости писать специальный код интеграции, использовать оболочки для SDK или что-либо переписывать.
С запуском этих возможностей вам больше не нужно будет применять другой формат API или модифицировать процедуры аутентификации. Просто измените URL-адрес, и текущие вызовы SDK, логика потоковой передачи и интеграция платформ продолжат работать, как прежде. Вы сразу же получите возможность выбирать собственные инстансы GPU, хранить данные в собственном виртуальном частном облаке (VPC), запускать любую модель с открытым исходным кодом или настроенную модель, а также использовать автоматически масштабируемые политики, адаптированные для ваших рабочих нагрузок. Для аутентификации используются существующие мандаты AWS с автоматическим обновлением токенов, поэтому дополнительно управлять чем-либо в рабочей среде не потребуется.
Данная возможность сегодня доступна в следующих регионах: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Азиатско-Тихоокеанский регион (Мумбаи, Джакарта, Токио, Сеул, Сингапур, Сидней), Европа (Ирландия, Франкфурт, Лондон), Южная Америка (Сан-Паулу) и Канада (Центральная). Чтобы узнать больше и начать работу, прочитайте блог о запуске или обратитесь к документации по SageMaker для логического вывода.