Перейти к главному контенту

Чипы AWS на базе искусственного интеллекта

AWS Neuron

SDK для оптимизации искусственного интеллекта и глубокого обучения на AWS Trainium и AWS Inferentia

Начать работу с AWS Neuron

Что такое AWS Neuron?

AWS Neuron – это Пакет средств разработки ПО (SDK), используемый для выполнения рабочих нагрузок глубокого обучения и генеративного искусственного интеллекта на инстансах Amazon Elastic Compute Cloud (Amazon EC2) на базе AWS Inferentia и AWS Trainium. Он включает компилятор, среду выполнения, библиотеки обучения и вывода, а также инструменты разработчика для мониторинга, профилирования и отладки. Neuron поддерживает весь жизненный цикл разработки систем машинного обучения, включая создание и развертывание моделей глубокого обучения и искусственного интеллекта, оптимизацию для достижения максимальной производительности и снижения затрат, а также более глубокое понимание поведения моделей.
An abstract illustration of a human head silhouette filled with colorful geometric data patterns and lines, representing artificial intelligence and machine learning concepts.

Встроенная интеграция с популярными платформами и библиотеками машинного обучения

Neuron изначально интегрируется с PyTorch и JAX, а также с основными библиотеками машинного обучения, такими как Hugging Face Optimum Neuron, PyTorch Lightning и AXLearn. Neuron также поддерживает OpenXLA, включая StableHLO и GSPMD, что позволяет разработчикам PyTorch, XLA и JAX использовать оптимизацию компилятора Neuron для Inferentia и Trainium. Neuron дает возможность использовать инстансы на базе Trainium и Inferentia с такими сервисами, как Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster и пакет AWS, а также сторонними сервисами, такими как Ray (Anyscale), Domino Data Lab и Datadog.
Abstract digital illustration featuring concentric rings of pink brick-like segments on a dark blue background, representing AWS security, identity, and compliance concepts.

Распределенные библиотеки обучения и логических выводов

Neuron включает готовую оптимизацию для распределенного обучения и вывода с помощью библиотек PyTorch с открытым исходным кодом NxD Training и NxD Inference. NxD Training упрощает и оптимизирует крупномасштабное распределенное обучение и поддерживает различные архитектуры моделей, стратегии параллельной обработки данных и рабочие процессы обучения. NxD Inference представляет собой комплексное решение для оптимизированного вывода моделей с такими ключевыми функциями, как выборка на устройстве, объединение веса QKV, непрерывная обработка пакета, спекулятивное декодирование, динамическое группирование и распределенный вывод. NxD Inference также интегрируется с такими сервисными решениями, как vLLM и Hugging Face TGI, которые включают центр моделей для разных архитектур.
A vibrant abstract background featuring a pattern of colorful rectangular shapes arranged in horizontal rows, with various shades of blue, red, purple, pink, and yellow.

Расширенные возможности в отрасли прикладных наук

Neuron обладает рядом прикладных научных возможностей для сферы прикладных наук, позволяющих ученым расширять границы исследований и инноваций в области искусственного интеллекта с открытым исходным кодом в Trainium и Inferentia. Нейронный интерфейс Kernel (NKI) предоставляет прямой доступ к аппаратным примитивам и инструкциям, доступным в Trainium и Inferentia, что позволяет исследователям создавать и настраивать вычислительные ядра для достижения оптимальной производительности. Это среда программирования на основе Python, в которой используется широко распространенный синтаксис, подобный Triton, и семантика на уровне тайлов. Исследователи могут использовать NKI для улучшения моделей глубокого обучения с помощью новых функций, оптимизации и научных инноваций. Пользовательские операторы Neuron на языке C++ позволяют разработчикам расширять функциональность SDK, создавая собственные операторы, оптимизированные для Inferentia и Trainium.
Abstract illustration featuring various geometric shapes, such as triangles, circles, rectangles, and grids, in gradient pastel yellow and purple tones on a lavender background. Arrows and dotted lines add motion and connectivity, suitable for themes of application integration and creative design.

Мощные инструменты для разработчиков

AWS Neuron SDK предлагает полный набор инструментов для глубокого анализа мониторинга, управления и оптимизации моделей глубокого обучения на инстансах EC2 на базе AWS Inferentia и Trainium. Сервис предоставляет такие утилиты, как neuron-top, neuron-monitor и Neuron Sysfs, для мониторинга аппаратных ресурсов, выполнения моделей и сведений о системе. Для контейнерных приложений на Kubernetes и EKS Neuron упрощает мониторинг посредством интеграции Amazon CloudWatch и других популярных инструментов наблюдаемости, таких как Datadog. Кроме того, инструмент нейронного профиля помогает выявлять и устранять проблемы с производительностью как в одноузловых, так и в распределенных приложениях, а также предоставляет встроенные возможности профилирования для популярных платформ машинного обучения.
An abstract background featuring flowing, multicolored waves beneath a variety of geometric shapes (such as circles, rectangles, hexagons, and triangles) on a dark backdrop. The image visually suggests data visualization, analytics, or machine learning concepts.

Начало работы

Neuron Deep Learning Amazon Machine Images (Neuron DLAMI) поставляется с предварительно сконфигурированным пакетом Neuron SDK, популярными фреймворками и полезными библиотеками, что позволяет быстро приступить к обучению и выполнению логических выводов на AWS Inferentia. Neuron DLAMI упрощает рабочий процесс и оптимизирует производительность, устраняя сложности с настройкой и предоставляя разработчикам возможность сосредоточиться на создании и развертывании моделей ИИ. Начните с Neuron DLamis.

Быстрое развертывание моделей с помощью предварительно настроенных контейнеров глубокого обучения AWS Neuron (Neuron DLC) с оптимизированными фреймворками для Trainium и Inferentia. Для индивидуальных решений создавайте собственные контейнеры и используйте такие функции Kubernetes, как плагин Neuron Device, расширение Neuron Scheduler и схемы Helm. Простая интеграция с сервисами AWS, такими как Amazon EKS, Пакет AWS и Amazon ECS, для масштабируемого развертывания. Начните с дополнений для Neuron.

Optimum Neuron объединяет Hugging Face Transformers и AWS Neuron SDK, предоставляя стандартные API-интерфейсы Hugging Face для Trainium и Inferentia. Сервис предлагает решения как для обучения, так и для логических выводов, включая поддержку обучения и развертывания крупномасштабных моделей для рабочих процессов ИИ. Optimum Neuron, поддерживая Amazon SageMaker и готовые контейнеры глубокого обучения, упрощает использование Trainium и Inferentia для машинного обучения. Эта интеграция позволяет разработчикам работать со знакомыми интерфейсами Hugging Face, используя Trainium и Inferentia для своих проектов на основе трансформеров. Начните с оптимального нейрона Hugging Face.

Amazon SageMaker JumpStart можно использовать для обучения и развертывания моделей с помощью Neuron. JumpStart обеспечивает поддержку тонкой настройки и развертывания популярных моделей, таких как семейство Meta Llama. Начните с SageMaker JumpStart.