Представляем пакет SDK AWS Neuron 2.25.0
Сегодня AWS объявляет о выходе общедоступной версии Neuron SDK 2.25.0, в которой улучшены рабочие нагрузки вывода и мониторинг производительности в инстансах AWS Inferentia и Trainium. В этой последней версии добавлена поддержка контекста и параллелизма данных, уделяется повышенное внимание обработке длинных последовательностей при выводе, а также обновлены API neuron-ls и neuron-monitor: добавлена дополнительная информация о совместном существовании узлов и использовании устройств соответственно.
В этой версии также введено автоматическое присвоение псевдонимов (бета-версия) для быстрых операций с тензорами и улучшено разъединенное обслуживание (бета-версия). Наконец, предоставляются обновленные AMI и контейнеры глубокого обучения для рабочих нагрузок вывода и обучения в Neuron.
Версия Neuron 2.25.0 доступна во всех регионах AWS, где предлагаются инстансы Inferentia и Trainium.
Дополнительная информация, а также полный список новых функций и улучшений: