Новые функции PyTorch 2.7 и улучшения логического вывода в AWS Neuron 2.24
Сегодня AWS объявляет о появлении общедоступной версии Neuron 2.24 с новыми функциями и улучшенной производительностью, которая предназначена для разработки и развертывания моделей глубокого обучения на инстансах на базе AWS Inferentia и Trainium. Версия Neuron 2.24 представляет поддержку PyTorch 2.7, улучшает возможности логического вывода и совместима с более широким спектром популярных платформ машинного обучения. Эти обновления помогают разработчикам и специалистам по анализу данных ускорять обучение моделей и логический вывод, повышать эффективность и упрощать развертывание больших языковых моделей и других рабочих нагрузок искусственного интеллекта.
В версии Neuron 2.24 клиентам доступны расширенные функции логического вывода, такие как кэширование префиксов для сокращения времени получения первого токена (TTFT), дезагрегация вывода для уменьшения помех заполнения-декодирования и контекстный параллелизм для более производительной обработки длинных последовательностей. Этот выпуск также внедряет поддержку текстовых моделей Qwen 2.5, улучшает интеграцию с Hugging Face Optimum Neuron и внутренним интерфейсом NxD Core на базе PyTorch.
Версия Neuron 2.24 доступна во всех регионах AWS, где предлагаются инстансы Inferentia и Trainium.
Дополнительная информация, а также полный список новых функций и улучшений: