Инстансы Amazon EC2 Inf1

Высокопроизводительные и самые экономичные логические выводы машинного обучения в облаке

Компании из самых разных отраслей выбирают трансформацию на базе искусственного интеллекта в качестве основы для стимулирования бизнес-инноваций, улучшения качества сервиса и рабочих процессов. Модели машинного обучения, которые лежат в основе приложений искусственного интеллекта, становятся все более сложными, а следовательно растет и базовая стоимость вычислительной инфраструктуры. До 90 % инфраструктурных затрат, вложенных в разработку и запуск ML приложений, зачастую приходится на логические выводы. Клиентам требуются экономически эффективные инфраструктурные решения для развертывания ML приложений на производстве.

Инстансы Amazon EC2 Inf1 обеспечивают высокопроизводительный логический вывод ML с наименьшими затратами в облаке. Они обеспечивают пропускную способность выше до 2,3 раз и экономию на стоимость вывода до 70%, по сравнению с аналогичными инстансами Amazon EC2 текущего поколения на базе GPU. Инстансы Inf1 изначально разработаны для поддержки логических приложений машинного обучения. Данные инстансы содержат до 16 высокопроизводительных микросхем логических выводов машинного обучения AWS Inferentia, разработанных и созданных компанией AWS. Кроме того, инстансы Inf1 оснащены процессорами Intel® Xeon® Scalable 2-го поколения и сетевым интерфейсом со скоростью до 100 Гбит/с, что дает высокую пропускную способность логических выводов.

С помощью инстансов Inf1 клиенты могут с самой низкой стоимостью в облаке запускать широкомасштабные приложения логических выводов машинного обучения, такие как поиск, механизмы рекомендаций, машинное зрение, обработка естественного языка, персонализация, а также выявление мошенничества.

Разработчики могут развертывать модели машинного обучения на инстансах Inf1 с помощью AWS Neuron SDK, интегрированного в популярные среды машинного обучения, такие как TensorFlow, PyTorch и MXNet. Можно не менять используемые рабочие процессы машинного обучения и беспрепятственно переносить приложения на инстансы Inf1, внося минимальные изменения в код и не привязываясь к решениям конкретных поставщиков.

Легко начать работу с инстансами Inf1 позволит сервис Amazon SageMaker AWS Deep Learning AMI с предварительно настроенным пакетом SDK Neuron, или Amazon ECS или Amazon EKS для контейнерных приложений ML.

Инстансы Amazon EC2 Inf1 на основе AWS Inferentia (2:51)

Преимущества

До 70 % меньшая стоимость логических выводов

С помощью Inf1 разработчики могут значительно снизить стоимость рабочих развертываний машинного обучения за счет наименьшей цены на вывод в облако. Сочетание низкой стоимости инстанса и высокой пропускной способности инстансов Inf1 обеспечивают экономию до 70 % на затраты на логический вывод, сравнению с аналогичными инстансами EC2 текущего поколения на основе GPU.

Простота использования и универсальность кода

Пакет SDK Neuron интегрирован в распространенные модели платформ машинного обучения, такие как TensorFlow, PyTorch и MXNet. Можно не менять используемые рабочие процессы машинного обучения и беспрепятственно переносить приложения на инстансы Inf1, внося минимальные изменения в код. Это позволяет свободно выбирать платформу машинного обучения, использовать вычислительную платформу, которая отвечает требованиям наилучшим образом, и задействовать новейшие технологии, не привязываясь к решениям конкретных поставщиков.

Пропускная способность больше вплоть до 2,3 раз

Инстансы Inf1 обеспечивают пропускную способность выше до 2,3 раз по сравнению с аналогичными инстансами Amazon EC2 текущего поколения на базе GPU. В основе инстансов Inf1 лежат микросхемы AWS Inferentia, которые оптимизированы для рабочего вывода небольших пакетов, что позволяет приложениям, работающим в режиме реального времени, обеспечить самую большую пропускную способность и необходимое время задержки.

Крайне низкая задержка

В микросхемы AWS Inferentia встроен большой объем памяти, который позволяет кэшировать модели машинного обучения прямо в микросхеме. Вы можете развертывать модели, с помощью, например, такой функции, как конвейер NeuronCore, который позволяет не получать доступ к внешним ресурсам памяти. С инстансами Inf1 можно развертывать приложения для получения логических выводов в режиме реального времени, при этом получая близкое к реальному время задержки без ущерба для пропускной способности.

Поддержка широкого диапазона моделей машинного обучения и типов данных

Инстансы Inf1 поддерживают многие часто используемые модели архитектуры машинного обучения, такие как SSD, VGG и ResNet для распознавания или классификации изображений, а также Transformer и BERT для обработки естественного языка. Кроме того, Neuron поддерживает репозиторий моделей HuggingFace, что позволяет клиентам компилировать и выполнять вывод с использованием предварительно подготовленных или даже тонко настроенных моделей, всего лишь изменив одну строку кода. Также поддерживается несколько типов данных, в том числе BF16 и FP16 со смешанной точностью, обеспечивая широкий диапазон моделей и требований к производительности.

Возможности

На базе AWS Inferentia

AWS Inferentia – это специальная микросхема для машинного обучения, разработанная и созданная компанией AWS для обеспечения высокой производительности получения логических выводов при низкой стоимости. Каждый чип AWS Inferentia производит до 128 триллионов операций в секунду (терафлопсов) и поддерживает типы данных FP16, BF16 и INT8. Также микросхемы AWS Inferentia имеют большой объем встроенной памяти, которую можно использовать для кэширования больших моделей, что особенно полезно для моделей, которым необходим частый доступ к памяти.

Комплект средств разработки ПО (SDK) AWS Neuron состоит из компилятора, драйвера среды выполнения и инструментов профилирования. Он позволяет выполнять развертывание сложных моделей нейронных сетей, созданных и обученных на популярных платформах, таких как TensorFlow, PyTorch и MXNet, используя инстансы Inf1. С помощью NeuronCore Pipeline можно разделять большие модели для выполнения на нескольких микросхемах Inferentia с использованием высокоскоростного физического соединения микросхем, что повышает пропускную способность и снижает затраты.

Высокая производительность сети и хранилища

Для приложений, которым требуется высокая сетевая производительность, инстансы Inf1 обеспечивают пропускную способность сети до 100 Гбит/с. Благодаря эластичным сетевым адаптерам (ENA) и технологии NVM Express (NVMe) нового поколения инстансы Inf1 оснащены интерфейсами с высокой пропускной способностью и низкой задержкой для работы с сетями и Amazon Elastic Block Store (Amazon EBS).

Создано на основе системы AWS Nitro

Система AWS Nitro предлагает широкий выбор структурных блоков, позволяющих использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, чтобы повышать производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.

Принцип работы сервиса

Использование Inf1 и AWS Inferentia

Отзывы клиентов

SkyWatch
«Bungee Tech позволяет предприятиям розничной торговли и брендам эффективно конкурировать в постоянно изменяющемся мире, анализируя миллионы продуктов во всем мире, чтобы предоставлять новейшие аналитические данные о рынке с помощью лучших в своем классе средств аналитики. Наш анализ по замыслу точен, применим на практике и своевременен, чтобы предоставлять клиентам уникальное конкурентное преимущество. Мы перенесли свои рабочие нагрузки для получения логических выводов при обработке естественного языка с высокой пропускной способностью с инстансов на основе графических процессоров на инстансы Amazon EC2 Inf1. Оптимизация моделей для работы на инстансах Inf1 была простой, и одному инженеру потребовался примерно день на настройку и автоматизацию. Позволив нам выполнять более крупные и точные модели без повышения затрат, инстансы Inf1 дали нам возможность обеспечить отличное взаимодействие с клиентами».

– Чарльз Динь, технический директор, Bungee Tech

SkyWatch
«Мы внедряем машинное обучение во множество аспектов Snapchat. Исследование инноваций в этой области является главным приоритетом. Мы начали сотрудничать с AWS, как только узнали об Inferentia. Наша цель заключалась в адаптации инстансов Inf1/Inferentia для последующего развертывания машинного обучения, включая аспекты производительности и затрат. Мы начали с моделей рекомендаций и с нетерпением ждем возможности использовать больше моделей с инстансами Inf1 в дальнейшем».

Нима Хадженоури, вице-президент по проектированию, Snap Inc.

Anthem
«Компания Autodesk расширяет когнитивные технологии нашего виртуального помощника на базе ИИ, Autodesk Virtual Agent (AVA), используя Inferentia. Виртуальный помощник AVA отвечает на более чем 100 000 вопросов клиентов ежемесячно, применяя технологию понимания естественного языка и методы глубокого обучения для извлечения контекста, намерений и смысла запросов. Используя Inferentia в тестовом режиме, мы можем повысить пропускную способность в 4,9 раза по сравнению с G4dn для наших моделей на базе понимания естественного языка и надеемся запустить больше рабочих нагрузок на инстансах Inf1 на основе Inferentia.

Бинхуэй Оуян, старший специалист по работе с данными, Autodesk

Anthem
Anthem – один из ведущих поставщиков медицинского страхования в стране, обслуживающий более 40 млн клиентов из десятков штатов. «Рынок цифровых платформ для сферы здравоохранения растет невиданными темпами. Сбор информации на этом рынке является трудной задачей в связи с огромным количеством неструктурированных данных об отзывах клиентов. Наше приложение автоматизирует создание полезной аналитической информации на основе отзывов клиентов при помощи моделей глубокого обучения для естественного языка (Transformers). Наше приложение требует интенсивного использования вычислительных ресурсов и развертывания с крайне высокой производительностью. Мы легко развернули логическую рабочую нагрузку глубокого обучения в инстансах Amazon EC2 Inf1 на базе процессора AWS Inferentia. Новые инстансы Inf1 обеспечивают вдвое большую пропускную способность, чем инстансы на базе графических процессоров, и помогают нам упростить логические рабочие нагрузки»

Нуман Лаанайт, доктор философии, главный специалист по работе с данными и искусственным интеллектом; Миро Михайлов, доктор философии, главный специалист по работе с данными и искусственным интеллектом

Condé Nast
«В международный портфель Condé Nast входят более 20 ведущих медиабрендов, включая Wired, Vogue и Vanity Fair. Наша команда смогла интегрировать наш механизм рекомендаций с микросхемами AWS Inferentia за несколько недель. Эта интеграция позволяет проводить множество операций по оптимизации среды выполнения для современных моделей естественного языка в инстансах SageMaker Inf1. В результате нам удалось сократить расходы на 72 % по сравнению с ранее развернутыми инстансами на базе ГП».

Пол Фрайзел, главный инженер по инфраструктуре искусственного интеллекта

Asahi Shimbun
«В Ciao обычные камеры видеонаблюдения превращают в камеры для анализа, высокую производительность которых можно сравнить с возможностями человеческого глаза. Наше приложение помогает предотвращать стихийные бедствия и отслеживать условия окружающей среды с помощью камер, использующих облачные технологии на основе ИИ. Специальные оповещения позволяют отреагировать на ситуацию до того, как она станет критичной. Благодаря технологии обнаружения объектов мы также можем на основе видеозаписей предоставлять аналитические сведения о количестве посетителей (без учета работников), вошедших в магазин. Компания Ciao Camera внедрила инстансы Inf1 на базе AWS Inferentia на коммерческой основе, сократив при этом расходы на 40 % по сравнению с инстансом G4dn с YOLOv4. Мы также планируем значительно снизить расходы на другие наши сервисы благодаря использованию Inf1».

Синдзи Мацумото, инженер-программист, Ciao Inc.

Asahi Shimbun
«Asahi Shimbun – одна из наиболее популярных газет в Японии. Media Lab – это одно из подразделений нашей компании, задача которого заключается в изучении последних технологий, в особенности ИИ, а также в подключении инновационных технологий для новой бизнес-деятельности. Запуск инстансов Amazon EC2 Inf1 на базе AWS Inferentia в Токио позволил нам протестировать на этих инстансах наше ИИ-приложение для резюмирования текста на основе PyTorch. Это приложение обрабатывает большой объем данных, а также генерирует заголовки и краткие предложения на основе статей за последние 30 лет. Используя Inferentia, нам удалось в несколько раз сократить расходы по сравнению с инстансами на базе ЦП. Значительное сокращение расходов позволит нам развертывать наиболее сложные модели в нужном масштабе, что ранее казалось недоступным с финансовой точки зрения».

Хидеаки Тамори, доктор философии, главный администратор, Media Lab, Asahi Shimbun

CS Disco
«CS Disco заново изобретает юридические технологии и становится ведущим поставщиком решений искусственного интеллекта для электронного поиска, разработанных юристами для юристов. Disco AI ускоряет неблагодарную задачу просеивания терабайтов данных, ускоряет время просмотра и повышает точность обзора документов за счет использования сложных моделей обработки естественного языка, которые требуют больших вычислительных ресурсов и чрезвычайно затратны. Disco обнаружила, что инстансы Inf1 на базе AWS Inferentia снижают стоимость логического вывода в Disco AI как минимум на 35 % по сравнению с современными инстансами на базе GPU. Благодаря этому положительному опыту работы с инстансами Inf1 CS Disco рассмотрит возможность перехода на AWS Inferentia».

Алан Локетт, старший директор по исследованиям, CS Disco

Talroo
«Компания Talroo предоставляет клиентам платформу на основе данных. С помощью этой платформы они могут привлекать внимание уникальных кандидатов и нанимать сотрудников. Мы неустанно следим за новыми технологиями, чтобы предлагать клиентам лучшие продукты и услуги. С помощью Inferentia мы извлекаем данные из фонда текстовых данных, чтобы совершенствовать ИИ-технологии поиска соответствий. Talroo использует инстансы Amazon EC2 Inf1 для создания моделей понимания естественных языков с высокой пропускной способностью на основе SageMaker. Результаты первоначального тестирования Talroo свидетельствуют о том, что инстансы Amazon EC2 Inf1 на 40 % сокращают задержки логических выводов и в два раза увеличивают пропускную способность по сравнению с инстансами G4dn на базе графических процессоров. Учитывая эти результаты, Talroo с нетерпением ждет, когда настанет время использовать инстансы Amazon EC2 Inf1 в составе своей инфраструктуры AWS».

Джанет Ху, инженер-программист, Talroo

Digital Media Professionals (DMP)
«Компания Digital Media Professionals (DMP) смотрит в будущее благодаря платформе ZIA™ на базе искусственного интеллекта. DMP использует эффективные технологии классификации машинного зрения для сбора сведений о больших количествах поступающих в реальном времени изображений, например в целях наблюдения за условиями, а также предотвращения преступлений и несчастных случаев. Мы обнаружили, что наши модели сегментации изображений работают в четыре раза быстрее в инстансах Inf1 на базе AWS Inferentia по сравнению с инстансами G4 на базе графического процессора. Благодаря более высокой пропускной способности и более низкой стоимости Inferentia позволяет масштабно развертывать наши рабочие нагрузки ИИ, такие как приложения для автомобильных видеорегистраторов».

Хироюки Умеда, директор и генеральный менеджер отдела продаж и маркетинга, Digital Media Professionals

Hotpot.ai
Hotpot.ai дает новичкам возможность создавать привлекательный графический дизайн и помогает профессиональным дизайнерам автоматизировать рутинные задачи. «Так как машинное обучение является основой нашей стратегии, мы были рады опробовать инстансы Inf1 на базе AWS Inferentia. Мы обнаружили, что инстансы Inf1 легко интегрируются с нашими научно-исследовательскими процессами. Что самое важное, мы заметили впечатляющий прирост производительности по сравнению с инстансами G4dn на базе графических процессоров. В нашей первой модели инстансы Inf1 показали на 45 % большую пропускную способность и сократили расходы на получение логических выводов почти на 50 %. Мы планируем тесно сотрудничать со специалистами AWS, чтобы портировать другие модели и перенести большую часть нашей логической инфраструктуры машинного обучения на сервис AWS Inferentia»

Кларенс Ху, основатель Hotpot.ai

SkyWatch
«SkyWatch обрабатывает сотни триллионов пикселей из данных, ежедневно получаемых при наблюдении за Землей из космоса. Переход к использованию новых инстансов Inf1 на основе AWS Inferentia с использованием Amazon SageMaker для обнаружения облаков и оценки качества изображений в режиме реального времени прошел быстро и легко. Для этого нужно было всего лишь изменить тип инстанса в конфигурации развертывания. Изменив тип инстанса на Inf1 на основе Inferentia, мы повысили производительность на 40 % и снизили общие затраты на 23 %. Это было большой победой. Мы смогли снизить общие эксплуатационные расходы и при этом продолжили предоставлять своим клиентам высококачественные спутниковые снимки с минимальными затратами на проектирование. Мы стремимся перевести все свои конечные точки, генерирующие логические выводы, и пакетные процессы машинного обучения на использование инстансов Inf1, чтобы и в дальнейшем повышать достоверность наших данных и улучшать взаимодействие с клиентами».

Адлер Сантос, менеджер по разработке систем, SkyWatch

Сервисы Amazon с использованием инстансов Inf1 на основе Amazon EC2

Сервис Amazon Alexa

В мире продается более 100 миллионов устройств Alexa, и клиенты оставили на Amazon более 400 тысяч отзывов с пятью звездочками об устройствах Echo. «Возможности искусственного интеллекта и машинного обучения Amazon Alexa, которые работают на основе Amazon Web Services, сегодня доступны более чем на 100 миллионах устройств, и мы обещаем клиентам, что Alexa все время будет становиться умнее, общительнее, предусмотрительнее и даже очаровательнее», – говорит Том Тейлор, старший вице-президент Amazon Alexa. «Чтобы выполнить это обещание, нужно постоянно сокращать время отклика и затраты на инфраструктуру машинного обучения, поэтому мы рады применять инстансы Inf1 на основе Amazon EC2, чтобы снижать задержку генерирования логических выводов и сокращать затраты на каждый логический вывод при использовании функции Alexa для преобразования текста в речь. Благодаря Inf1 на основе Amazon EC2 мы сможем сделать этот сервис еще удобнее для десятков миллионов клиентов, которые пользуются Alexa каждый месяц».

Сервис Amazon Alexa
Amazon Rekognition – это простое и удобное приложение для анализа изображений и видео, которое помогает клиентам идентифицировать объекты, людей, текст и действия. Приложение Amazon Rekognition требует высокопроизводительной инфраструктуры глубокого обучения, которая может ежедневно анализировать миллиарды изображений и видео для наших клиентов. Благодаря инстансам Inf1 на основе AWS Inferentia использование таких моделей Rekognition, как классификация объектов, привело к сокращению задержки в 8 раз и увеличению пропускной способности в 2 раза по сравнению с использованием этих моделей на ГП. С учетом этих результатов мы перемещаем Rekognition на Inf1, что позволяет нашим клиентам быстрее получать точные результаты».
 
Раджниш Сингх, директор, программная инженерия, распознавание и видео

Цены

* Цены указаны для региона AWS Восток США (Северная Вирджиния). Цены, указанные для инстансов, зарезервированных на 1 и 3 года, действительны при выборе способа оплаты с частичной предоплатой или без предоплаты (для инстансов, не предусматривающих возможности частичной предоплаты).

Инстансы Amazon EC2 Inf1 доступны в регионах AWS Восток США (Северная Вирджиния) и Запад США (Орегон) как инстансы по требованию, а также зарезервированные и спотовые инстансы.

Начало работы

Использование Amazon SageMaker

Amazon SageMaker упрощает компиляцию и развертывание обученной модели машинного обучения в производственной среде на инстансах Amazon Inf1, чтобы вы могли начать генерировать прогнозы в реальном времени и с низкой задержкой. AWS Neuron, компилятор для AWS Inferentia, интегрирован с Amazon SageMaker Neo, что позволяет компилировать обученные модели машинного обучения для оптимальной работы на инстансах Inf1. С помощью Amazon SageMaker вы можете легко запускать модели в автомасштабируемых кластерах инстансов Inf1, расположенных в нескольких зонах доступности, что обеспечивает высокую производительность и доступность логических выводов в реальном времени. Узнайте, как развернуть модель на инстансе Inf1 с помощью Amazon SageMaker, изучив примеры на Github.

Использование AWS Deep Learning AMI

Образы AWS Deep Learning AMI (DLAMI) предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты для ускорения глубокого обучения в облаке в любых масштабах. В AWS Neuron SDK заранее установлены образы AWS Deep Learning AMI для оптимальной компиляции и работы ваших моделей машинного обучения на инстансах Inf1. Чтобы получить инструкции по началу работы, см. Руководство по выбору AMI и другие ресурсы по глубокому обучению. Чтобы узнать, как пользоваться DLAMI с Neuron, см. Руководство по началу работы с AWS DLAMI.

Контейнеры глубокого обучения AWS

Теперь разработчики могут развертывать инстансы Inf1 в Amazon Elastic Kubernetes Service (EKS), полностью управляемом сервисе Kubernetes, а также в Amazon Elastic Container Service (ECS), полностью управляемом сервисе оркестрации контейнеров от Amazon. Подробнее о начале работы с Inf1 на основе Amazon EKS или Amazon ECS. Дополнительная информация о работе контейнеров на инстансах Inf1 доступна на странице Учебного пособия по инструментам контейнеров Neuron. Кроме того, Neuron предварительно установлен в контейнерах AWS DL.

Публикации в блогах и статьи