Инстансы Amazon EC2 Inf1
Компании из самых разных отраслей выбирают трансформацию на базе искусственного интеллекта в качестве основы для стимулирования бизнес-инноваций, улучшения качества сервиса и рабочих процессов. Модели машинного обучения, которые лежат в основе приложений искусственного интеллекта, становятся все более сложными, а следовательно растет и базовая стоимость вычислительной инфраструктуры. До 90 % инфраструктурных затрат, вложенных в разработку и запуск приложений машинного обучения, зачастую приходится на логические выводы. Клиентам требуются экономически эффективные инфраструктурные решения для развертывания приложений машинного обучения на производстве.
Инстансы Amazon EC2 Inf1 обеспечивают высокопроизводительный логический вывод ML с низкими затратами. Они могут увеличить пропускную способность в 2,3 раза и сократить стоимость вывода на 70 % по сравнению с аналогичными инстансами Amazon EC2. Инстансы Inf1 изначально разработаны для поддержки логических приложений машинного обучения. Данные инстансы содержат до 16 высокопроизводительных микросхем логических выводов машинного обучения AWS Inferentia, разработанных и созданных компанией AWS. Кроме того, инстансы Inf1 оснащены процессорами Intel Xeon Scalable 2-го поколения и сетевым интерфейсом со скоростью до 100 Гбит/с, что дает высокую пропускную способность логических выводов.
С помощью инстансов Inf1 клиенты могут запускать широкомасштабные приложения логических выводов машинного обучения, такие как поиск, механизмы рекомендаций, машинное зрение, обработка естественного языка (NLP), персонализация, а также выявление мошенничества.
Разработчики могут развертывать модели машинного обучения на инстансах Inf1 с помощью AWS Neuron SDK, интегрированного в популярные среды машинного обучения, такие как TensorFlow, PyTorch и Apache MXNet. Можно не менять используемые рабочие процессы машинного обучения и беспрепятственно переносить приложения на инстансы Inf1, внося минимальные изменения в код и не привязываясь к решениям конкретных поставщиков.
Легко начните работу с инстансами Inf1, используя Amazon SageMaker, Глубокое обучение AWS AMI (DLAMI), поставляемые с предварительно настроенным SDK Neuron, Эластичный контейнерный сервис Amazon (Amazon ECS) или Эластичный сервис Amazon Kubernetes (Amazon EKS) для контейнерных приложений машинного обучения.
Преимущества
Экономия до 70 % на затраты на логические выводы
С помощью Inf1 разработчики могут значительно снизить стоимость рабочих развертываний машинного обучения. Сочетание низкой стоимости и высокой пропускной способности инстансов Inf1 обеспечивает экономию до 70 % на затраты на логический вывод, если сравнивать с аналогичными инстансами Amazon EC2.
Простота использования и универсальность кода
Пакет SDK Neuron интегрирован в распространенные модели платформ машинного обучения, такие как TensorFlow, PyTorch и MXNet. Можно не менять используемые рабочие процессы машинного обучения и беспрепятственно переносить приложения на инстансы Inf1, внося минимальные изменения в код. Это позволяет свободно выбирать платформу машинного обучения, использовать вычислительную платформу, которая отвечает требованиям наилучшим образом, и задействовать новейшие технологии, не привязываясь к решениям конкретных поставщиков.
Пропускная способность больше вплоть до 2,3 раза
Инстансы Inf1 обеспечивают пропускную способность выше до 2,3 раза по сравнению с аналогичными инстансами Amazon EC2. В основе инстансов Inf1 лежат микросхемы AWS Inferentia, которые оптимизированы для рабочего вывода небольших пакетов, что позволяет приложениям, работающим в режиме реального времени, обеспечить самую большую пропускную способность и необходимое время задержки.
Крайне низкая задержка
В микросхемы AWS Inferentia встроен большой объем памяти, который позволяет кэшировать модели машинного обучения прямо в микросхеме. Вы можете развертывать модели с помощью, например, такой функции, как конвейер NeuronCore, который позволяет не получать доступ к внешним ресурсам памяти. С инстансами Inf1 можно развертывать приложения для получения логических выводов в режиме реального времени, при этом получая близкое к реальному время задержки без ущерба для пропускной способности.
Поддержка различных моделей машинного обучения и типов данных
Инстансы Inf1 поддерживают многие часто используемые модели архитектуры машинного обучения, такие как SSD, VGG и ResNext для распознавания или классификации изображений, а также Transformer и BERT для обработки естественного языка. Кроме того, Neuron поддерживает репозиторий моделей HuggingFace, что позволяет клиентам легко компилировать и выполнять вывод с использованием предварительно подготовленных или тонко настроенных моделей, всего лишь изменив одну строку кода. Также поддерживается несколько типов данных, в том числе BF16 и FP16 со смешанной точностью, обеспечивая разнообразие моделей и требований к производительности.
Возможности
На базе AWS Inferentia
AWS Inferentia – это специальная микросхема для машинного обучения, разработанная и созданная компанией AWS для обеспечения высокой производительности получения логических выводов при низкой стоимости. Каждая микросхема AWS Inferentia оснащена 4 ядрами NeuronCore первого поколения, производит до 128 тераопераций в секунду (терафлопсов) и поддерживает типы данных FP16, BF16 и INT8. Также микросхемы AWS Inferentia имеют большой объем встроенной памяти, которую можно использовать для кэширования больших моделей, что особенно полезно для моделей, которым необходим частый доступ к памяти.
Развертывание с использованием популярных сред машинного обучения с помощью AWS Neuron
SDK AWS Neuron состоит из компилятора, драйвера среды выполнения и инструментов профилирования. Он позволяет выполнять развертывание сложных моделей нейронных сетей, созданных и обученных на популярных платформах, таких как TensorFlow, PyTorch и MXNet, используя инстансы Inf1. С помощью Конвейера NeuronCore можно разделять большие модели для выполнения на нескольких микросхемах Inferentia с использованием высокоскоростного физического соединения микросхем, что повышает пропускную способность и снижает затраты.
Высокая производительность сети и хранилища
Для приложений, которым требуется высокая сетевая производительность, инстансы Inf1 обеспечивают пропускную способность сети до 100 Гбит/с. Благодаря эластичным сетевым адаптерам (ENA) и технологии NVM Express (NVMe) нового поколения инстансы Inf1 оснащены интерфейсами с высокой пропускной способностью и низкой задержкой для работы с сетями и Магазином эластичных блоков Amazon (Amazon EBS).
Создано на основе Системы AWS Nitro
Система AWS Nitro предлагает широкий выбор структурных блоков, позволяющих использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, чтобы повышать производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.
Принцип работы сервиса
Отзывы клиентов
Компания Airbnb, основанная в 2008 году в Сан-Франциско, – это рынок сообщества, который охватывает более 4 миллионов хостов, которые посетило более 900 миллионов гостей почти в каждой стране мира.
«Платформа Airbnb с поддержкой сообщества обеспечивает интеллектуальные функции, масштабируемость и исключительное обслуживание для нашего сообщества из миллионов гостей и хостов во всем мире. Мы постоянно ищем пути повышения производительности наших моделей обработки естественного языка, которые используются нашим чат-ботом службы поддержки. Благодаря инстансам Amazon EC2 Inf1 на базе AWS Inferentia мы наблюдаем двукратное повышение пропускной способности без предварительной настройки при использовании инстансов на основе графических процессоров для моделей BERT на основе PyTorch. В будущем мы хотим применять инстансы Inf1 и для других моделей и примеров использования».
Бо Цзэн, руководитель инженерной группы, Airbnb
«Мы внедряем машинное обучение во множество аспектов Snapchat. Исследование инноваций в этой области является главным приоритетом. Мы начали сотрудничать с AWS, как только узнали об Inferentia. Наша цель заключалась в адаптации инстансов Inf1/Inferentia для последующего развертывания машинного обучения, включая аспекты производительности и затрат. Мы начали с моделей рекомендаций и с нетерпением ждем возможности использовать больше моделей с инстансами Inf1 в дальнейшем».
Нима Хадженоури, вице-президент по проектированию, Snap Inc.
«Единая платформа управления клиентским опытом (Unified-CXM) Sprinklr на основе искусственного интеллекта позволяет компаниям собирать отзывы клиентов по нескольким каналам и преобразовывать их в режиме реального времени в полезные выводы – и в результате решать проблемы на упреждение, улучшать разработку продуктов, контент-маркетинг, обслуживание клиентов и многое другое. С помощью Amazon EC2 Inf1 мы смогли значительно улучшить производительность наших моделей компьютерного зрения и обработки естественного языка (NLP). Мы с нетерпением ожидаем дальнейшего использования Amazon EC2 Inf1, чтобы предоставить лучшее обслуживание для наших клиентов по всему миру».
Васант Шринивасан, старший вице-президент по разработке продуктов в Sprinklr
«Наш современный продукт для обработки естественного языка Finch for Text позволяет пользователям извлекать и обогащать многие типы сущностей в больших объемах текста и устранять в них противоречия. Для Finch for Text требуется значительное количество вычислительных ресурсов, чтобы проводить обогащение глобальных потоков данных с малой задержкой. Теперь мы используем инстансы AWS Inf1 в моделях PyTorch NLP, перевода и устранения противоречий. Нам удалось сократить затраты на формирование логических выводов более чем на 80 % (по сравнению с графическими процессорами) с минимальной оптимизацией и сохранением скорости и производительности. Это улучшение позволяет нашим клиентам обогащать текст на французском, испанском, немецком и голландском языке в потоках данных в режиме реального времени в глобальных масштабах, что крайне важно для наших клиентов из сферы финансовых услуг, агрегирования данных и государственного сектора».
Скотт Лайтнер, технический директор Finch Computing
«Мы оповещаем о различных событиях по всему миру на разных языках и в разных форматах (изображения, видео, аудио, текстовые датчики, комбинации всех этих типов) из сотен тысяч источников. Оптимизация скорости и затрат с учетом такого масштаба крайне важна для нашего бизнеса. С помощью AWS Inferentia мы снизили задержку модели и достигли до 9 раз лучшей пропускной способности в пересчете на один доллар. Таким образом, мы смогли повысить точность моделирования и расширить возможности нашей платформы за счет развертывания более сложных моделей глубокого обучения и обработки в 5 раз большего объема данных, сохраняя при этом контроль над расходами».
Алекс Джеймс, главный научный сотрудник и старший вице-президент по вопросам искусственного интеллекта, Dataminr
«Компания Autodesk расширяет когнитивные технологии нашего виртуального помощника на базе ИИ, Autodesk Virtual Agent (AVA), используя Inferentia. Виртуальный помощник AVA отвечает на более чем 100 000 вопросов клиентов ежемесячно, применяя технологию понимания естественного языка и методы глубокого обучения для извлечения контекста, намерений и смысла запросов. Используя Inferentia в тестовом режиме, мы можем повысить пропускную способность в 4,9 раза по сравнению с G4dn для наших моделей на базе понимания естественного языка и надеемся запустить больше рабочих нагрузок на инстансах Inf1 на основе Inferentia».
Бингуи Оянг, старший специалист по работе с данными, Autodesk
«Обычно лишь исследователи-эксперты пользуются георадарами и занимаются обнаружением визуальных дефектов. Архитектура на базе микросервисов AWS позволяет нам обрабатывать видео, снятое автоматизированным инспекционным транспортом и инспекторами. Благодаря миграции собственных моделей с традиционных инстансов с использованием графических процессоров на Inferentia мы смогли сократить затраты на 50 %. Кроме того, нам удалось повысить производительность по сравнению с инстансами G4dn на базе графических процессоров. Наша команда хочет запускать больше рабочих нагрузок на инстансах Inf1 на базе Inferentia».
Хесус Ормиго, директор по облачным технологиям и ИИ, Screening Eagle Technologies
NTTPC Communications – это поставщик сетевых сервисов и решений для связи в Японии, который является лидером в области технологий связи и выводит на рынок информационных и коммуникационных технологий новаторские продукты.
«NTTPC разработала AnyMotion, сервис платформы API для анализа движения на базе моделей машинного обучения для расширенного анализа поз. Мы развернули свою платформу AnyMotion на инстансах Amazon EC2 Inf1 с использованием Amazon ECS для создания полностью управляемого сервиса оркестрации контейнеров. Развернув свои контейнеры AnyMotion на Amazon EC2 Inf1, мы наблюдаем повышение пропускной способности в 4,5 раза, снижение задержки при формировании логических выводов на 25 % и сокращение затрат на 90 % по сравнению с текущим поколением инстансов EC2 на основе графических процессоров. Эти превосходные результаты помогут повысить качество сервиса AnyMotion в крупном масштабе».
Тосики Янагисава, инженер-программист, NTT PC Communications Inc.
Anthem – один из ведущих поставщиков медицинского страхования в стране, обслуживающий более 40 млн клиентов из десятков штатов.
«Рынок цифровых платформ для сферы здравоохранения растет невиданными темпами. Сбор информации на этом рынке является трудной задачей в связи с огромным количеством неструктурированных данных об отзывах клиентов. Наше приложение автоматизирует создание полезной аналитической информации на основе отзывов клиентов при помощи моделей глубокого обучения для естественного языка (Transformers). Наше приложение требует интенсивного использования вычислительных ресурсов и развертывания с крайне высокой производительностью. Мы легко развернули логическую рабочую нагрузку глубокого обучения в инстансах Amazon EC2 Inf1 на базе процессора AWS Inferentia. Новые инстансы Inf1 обеспечивают вдвое большую пропускную способность, чем инстансы на базе графических процессоров, и помогают нам упростить логические рабочие нагрузки»
Нуман Лаанаит и Миро Михайлов, доктора наук, ведущие специалисты по вопросам искусственного интеллекта и данных, Anthem
«В международный портфель Condé Nast входят более 20 ведущих медиабрендов, включая Wired, Vogue и Vanity Fair. Наша команда смогла интегрировать наш механизм рекомендаций с микросхемами AWS Inferentia за несколько недель. Эта интеграция позволяет проводить множество операций по оптимизации среды выполнения для современных моделей естественного языка в инстансах SageMaker Inf1. В результате нам удалось сократить расходы на 72 % по сравнению с ранее развернутыми инстансами на базе ГП».
Пол Фрайзел, главный инженер по инфраструктуре искусственного интеллекта, Condé Nast
«В Ciao обычные камеры видеонаблюдения превращают в камеры для анализа, высокую производительность которых можно сравнить с возможностями человеческого глаза. Наше приложение помогает предотвращать стихийные бедствия и отслеживать условия окружающей среды с помощью камер, использующих облачные технологии на основе ИИ. Специальные оповещения позволяют отреагировать на ситуацию до того, как она станет критичной. Благодаря технологии обнаружения объектов мы также можем на основе видеозаписей предоставлять аналитические сведения о количестве посетителей (без учета работников), вошедших в магазин. Компания Ciao Camera внедрила инстансы Inf1 на базе AWS Inferentia на коммерческой основе, сократив при этом расходы на 40 % по сравнению с инстансом G4dn с YOLOv4. Мы также планируем значительно снизить расходы на другие наши сервисы благодаря использованию Inf1».
Синдзи Мацумото, инженер-программист, Ciao Inc.
« Asahi Shimbun – одна из наиболее популярных газет в Японии. Media Lab – это одно из подразделений нашей компании, задача которого заключается в изучении последних технологий, в особенности ИИ, а также в подключении инновационных технологий для новой бизнес-деятельности. Запуск инстансов Amazon EC2 Inf1 на базе AWS Inferentia в Токио позволил нам протестировать на этих инстансах наше ИИ-приложение для резюмирования текста на основе PyTorch. Это приложение обрабатывает большой объем данных, а также генерирует заголовки и краткие предложения на основе статей за последние 30 лет. Используя Inferentia, нам удалось в несколько раз сократить расходы по сравнению с инстансами на базе ЦП. Значительное сокращение расходов позволит нам развертывать наиболее сложные модели в нужном масштабе, что ранее казалось недоступным с финансовой точки зрения».
Хидеаки Тамори, кандидат наук, главный администратор, Media Lab, Asahi Shimbun
«CS Disco заново изобретает юридические технологии и становится ведущим поставщиком решений искусственного интеллекта для электронного поиска, разработанных юристами для юристов. Disco AI ускоряет неблагодарную задачу просеивания терабайтов данных, ускоряет время просмотра и повышает точность обзора документов за счет использования сложных моделей обработки естественного языка, которые требуют больших вычислительных ресурсов и чрезвычайно затратны. Disco обнаружила, что инстансы Inf1 на базе AWS Inferentia снижают стоимость логического вывода в Disco AI как минимум на 35 % по сравнению с современными инстансами на базе GPU. Благодаря этому положительному опыту работы с инстансами Inf1 CS Disco рассмотрит возможности перехода на AWS Inferentia».
Алан Локетт, старший директор по исследованиям, CS Disco
«Компания Talroo предоставляет клиентам платформу на основе данных. С помощью этой платформы они могут привлекать внимание уникальных кандидатов и нанимать сотрудников. Мы неустанно следим за новыми технологиями, чтобы предлагать клиентам лучшие продукты и услуги. С помощью Inferentia мы извлекаем данные из фонда текстовых данных, чтобы совершенствовать ИИ-технологии поиска соответствий. Talroo использует инстансы Amazon EC2 Inf1 для создания моделей понимания естественных языков с высокой пропускной способностью на основе SageMaker. Результаты первоначального тестирования Talroo свидетельствуют о том, что инстансы Amazon EC2 Inf1 на 40 % сокращают задержки логических выводов и в два раза увеличивают пропускную способность по сравнению с инстансами G4dn на базе графических процессоров. Учитывая эти результаты, Talroo с нетерпением ждет, когда настанет время использовать инстансы Amazon EC2 Inf1 в составе своей инфраструктуры AWS».
Джанет Ху, инженер-программист, Talroo
«Компания Digital Media Professionals (DMP) смотрит в будущее благодаря платформе ZIA™ на базе искусственного интеллекта. DMP использует эффективные технологии классификации машинного зрения для сбора сведений о больших количествах поступающих в реальном времени изображений, например в целях наблюдения за условиями, а также предотвращения преступлений и несчастных случаев. Мы обнаружили, что наши модели сегментации изображений работают в четыре раза быстрее в инстансах Inf1 на базе AWS Inferentia по сравнению с инстансами G4 на базе графического процессора. Благодаря более высокой пропускной способности и более низкой стоимости Inferentia позволяет масштабно развертывать наши рабочие нагрузки ИИ, такие как приложения для автомобильных видеорегистраторов».
Хироюки Умеда, директор и генеральный менеджер отдела продаж и маркетинга, Digital Media Professionals
Hotpot.ai дает новичкам возможность создавать привлекательный графический дизайн и помогает профессиональным дизайнерам автоматизировать рутинные задачи.
«Так как машинное обучение является основой нашей стратегии, мы были рады опробовать инстансы Inf1 на базе AWS Inferentia. Мы обнаружили, что инстансы Inf1 легко интегрируются с нашими научно-исследовательскими процессами. Что самое важное, мы заметили впечатляющий прирост производительности по сравнению с инстансами G4dn на базе графических процессоров. В нашей первой модели инстансы Inf1 показали на 45 % большую пропускную способность и сократили расходы на получение логических выводов почти на 50 %. Мы планируем тесно сотрудничать со специалистами AWS, чтобы портировать другие модели и перенести большую часть нашей логической инфраструктуры машинного обучения на сервис AWS Inferentia»
Кларенс Ху, основатель Hotpot.ai
«SkyWatch обрабатывает сотни триллионов пикселей из данных, ежедневно получаемых при наблюдении за Землей из космоса. Переход к использованию новых инстансов Inf1 на основе AWS Inferentia с применением Amazon SageMaker для обнаружения облаков и оценки качества изображений в режиме реального времени прошел быстро и легко. Для этого нужно было всего лишь изменить тип инстанса в конфигурации развертывания. Изменив тип инстанса на Inf1 на основе Inferentia, мы повысили производительность на 40 % и снизили общие затраты на 23 %. Это было большой победой. Мы смогли снизить общие эксплуатационные расходы и при этом продолжили предоставлять своим клиентам высококачественные спутниковые снимки с минимальными затратами на проектирование. Мы стремимся перевести все свои конечные точки, генерирующие логические выводы, и пакетные процессы машинного обучения на использование инстансов Inf1, чтобы и в дальнейшем повышать достоверность наших данных и улучшать взаимодействие с клиентами».
Адлер Сантос, менеджер по разработке систем, SkyWatch
Money Forward, Inc. обслуживает компании и частные лица на базе открытой и честной финансовой платформы. В рамках данной платформы компания HiTTO Inc., входящая в состав концерна Money Forward, предоставляет чат-бот на основе искусственного интеллекта (ИИ), использующий специализированные модели обработки естественного языка (NLP), для удовлетворения разнообразных потребностей корпоративных клиентов.
«Мы легко выполнили миграцию нашего чат-бота на основе ИИ на инстансы Amazon EC2 Inf1. Она заняла всего два месяца, после чего мы запустили масштабный сервис на инстансах Inf1 с помощью Amazon ECS. Обслуживая несколько моделей на одном инстансе Inf1, нам удалось сократить задержки логических выводов на 97 % и снизить расходы на их генерирование на 50 % (по сравнению с инстансами на базе графических процессоров). Мы хотим запускать больше рабочих нагрузок на инстансах Inf1 на базе Inferentia».
Кенто Адачи, технический руководитель и главный технический директор, Money Forward, Inc.
Сервисы Amazon с использованием инстансов Inf1 на основе Amazon EC2
Amazon Advertising помогает компаниям любого размера общаться с клиентами на каждом этапе их покупательского пути. Миллионы объявлений, включая текстовые и графические, модерируются, классифицируются и обслуживаются, чтобы ежедневно обеспечивать оптимальное обслуживание клиентов.
«Для обработки текстовой рекламы мы развертываем модели BERT на основе PyTorch на инстансах Inf1, базирующихся на AWS Inferentia, по всему миру. Сменив графические процессоры на Inferentia, мы добились снижения затрат на 69 % при сопоставимой производительности. Компиляция и тестирование моделей для AWS Inferentia заняли менее трех недель. Использование Amazon SageMaker для развертывания моделей в инстансах Inf 1 обеспечило масштабируемость и простоту управления. Когда я впервые проанализировал скомпилированные модели, AWS Inferentia показал настолько впечатляющую производительность, что мне пришлось запустить тесты повторно, чтобы убедиться в правдивости! В дальнейшем мы планируем перенести в Inferentia модели обработки рекламных изображений. Мы уже отметили снижение времени задержки на 30 % и экономию средств в размере 71 % по сравнению с сопоставимыми инстансами той же модели на базе графического процессора».
Яшал Канунго, практикующий научный сотрудник, Amazon Advertising
Читать новостной блог »
«Возможности искусственного интеллекта и машинного обучения Amazon Alexa, которые работают на основе AWS, сегодня доступны более чем на 100 миллионах устройств, и мы обещаем клиентам, что Alexa все время будет становиться умнее, общительнее, предусмотрительнее и даже очаровательнее. Чтобы выполнить это обещание, нужно постоянно сокращать время отклика и затраты на инфраструктуру машинного обучения, поэтому мы рады применять инстансы Inf1 на основе Amazon EC2, чтобы снижать задержку генерирования логических выводов и сокращать затраты на каждый логический вывод при использовании функции Alexa для преобразования текста в речь. Благодаря Inf1 на основе Amazon EC2 мы сможем сделать этот сервис еще удобнее для десятков миллионов клиентов, которые пользуются Alexa каждый месяц».
Том Тейлор, старший вице-президент, Amazon Alexa
«Мы постоянно внедряем инновации ради повышения качества обслуживания клиентов и снижения затрат на инфраструктуру. Перенос рабочих нагрузок, касающихся ответов на вопросы в онлайн-формате (WBQA), с инстансов P3 на основе GPU на инстансы Inf1 на основе AWS Inferentia помог снизить затраты на вывод на 60 %, а также более чем на 40 % сократить задержку на всем пути сигнала, благодаря чему общение клиентов с Alexa стало лучше. Мы использовали Amazon SageMaker для нашей модели на основе Tensorflow, и за счет этого легко и просто перешли на инстансы Inf 1. Сейчас для рабочих нагрузок WBQA мы по всему миру задействуем инстансы Inf1 и оптимизируем их производительность для AWS Inferentia, чтобы еще больше сократить затраты и задержку».
Эрик Линд, инженер по разработке ПО, Alexa AI.
«Amazon Prime Video использует модели компьютерного видения на базе машинного обучения для анализа качества видео прямых трансляций, чтобы предоставить участникам Prime Video наилучшие впечатления. Мы развернули наши модели классификации изображений на основе машинного обучения на инстансах EC2 Inf1, что позволило повысить производительность в 4 раза и сократить затраты почти на 40 %. Теперь мы хотим использовать эти сэкономленные средства для инноваций и создания усовершенствованных моделей для обнаружения более сложных дефектов, таких как задержка синхронизации между аудио- и видеофайлами, чтобы улучшить впечатления участников Prime Video».
Виктор Антонио, архитектор решений, Amazon Prime Video
Amazon Rekognition – это простое и удобное приложение для анализа изображений и видео, которое помогает клиентам идентифицировать объекты, людей, текст и действия. Приложение Amazon Rekognition требует высокопроизводительной инфраструктуры глубокого обучения, которая может ежедневно анализировать миллиарды изображений и видео для наших клиентов. Благодаря инстансам Inf1 на основе AWS Inferentia использование таких моделей Amazon Rekognition, как классификация объектов, привело к сокращению задержки в 8 раз и увеличению пропускной способности в 2 раза по сравнению с использованием этих моделей на ГП. С учетом этих результатов мы перемещаем Amazon Rekognition на Inf1, что позволяет нашим клиентам быстрее получать точные результаты».
Раджниш Сингх, директор, программная инженерия, Amazon Rekognition и видео
Цены
* Цены указаны для региона AWS Восток США (Северная Вирджиния). Цены, указанные для инстансов, зарезервированных на 1 и 3 года, действительны при выборе способа оплаты с частичной предоплатой или без предоплаты (для инстансов, не предусматривающих возможности частичной предоплаты).
Инстансы Amazon EC2 Inf1 доступны в регионах AWS Восток США (Северная Вирджиния) и Запад США (Орегон) как инстансы по требованию, а также зарезервированные и спотовые инстансы.
Начало работы
Использование Amazon SageMaker
Amazon SageMaker упрощает компиляцию и развертывание обученной модели машинного обучения в производственной среде на инстансах Amazon Inf1, чтобы вы могли начать генерировать прогнозы в реальном времени и с низкой задержкой. AWS Neuron, компилятор для AWS Inferentia, интегрирован с Amazon SageMaker Neo, что позволяет компилировать обученные модели машинного обучения для оптимальной работы на инстансах Inf1. С помощью SageMaker вы можете легко запускать модели в автомасштабируемых кластерах инстансов Inf1, расположенных в нескольких зонах доступности, что обеспечивает высокую производительность и доступность логических выводов в реальном времени. Узнайте, как развернуть модель на инстансе Inf1 с помощью SageMaker, изучив примеры на Github.
Использование образов DLAMI
Образы DLAMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты для ускорения глубокого обучения в облаке в любых масштабах. В AWS Neuron SDK заранее установлены образы DLAMI для оптимальной компиляции и работы ваших моделей машинного обучения на инстансах Inf1. Чтобы получить инструкции по началу работы, см. Руководство по выбору AMI и другие ресурсы по глубокому обучению. Чтобы узнать, как пользоваться DLAMI с Neuron, см. Руководство по началу работы с AWS DLAMI.
Контейнеры глубокого обучения AWS
Теперь разработчики могут развертывать инстансы Inf1 в Эластичном сервисе Amazon Kubernetes (EKS), полностью управляемом сервисе Kubernetes, а также в Эластичном контейнерном сервисе Amazon (ECS), полностью управляемом сервисе оркестрации контейнеров от Amazon. Подробнее о начале работы с Inf1 на основе Amazon EKS или Amazon ECS. Дополнительная информация о работе контейнеров на инстансах Inf1 доступна на странице Учебного пособия по инструментам контейнеров Neuron. Кроме того, Neuron предварительно установлен в контейнерах для глубокого обучения AWS.
Публикации в блогах и статьи
Авторы: Джао Моура, Джейсон Карлсон, Джасприт Сингх, Шаохуа Си, Шрути Копаркар, Хаовей Сан, Вэй Чжан и Чжуоци Чжан, 22.09.2022
MIT Technology Review Insights, 01.11.2021
Авторы: Давиде Галлители и Хасан Пунавала, 19.10.2021
Облачное машинное обучение помогает бизнесу внедрять инновации
MIT Technology Review Insights, 15.10.2021
Авторы: Алекс Янкоулски, Джошуа Корреа, Махадеван Баласубраманьям и Сундар Ранганатха, 30.09.2021
Автор: Фабио Нонато де Паула и Махадеван Баласубраманиам, 4.05.2021 г.
Автор: Бингуи Оянг, 07.04.2021
Большая часть Alexa теперь работает на более быстрых и экономных инстансах Amazon EC2 Inf1
Себастьян Стормак, 12.11.2020 г.
Жюльен Симон (Julien Simon), 22.04.2020 г.
Amazon ECS теперь поддерживает инстансы EC2 Inf1
Жюльен Симон (Julien Simon), 14.08.2020 г.
Фабио Нонато де Паула и Хайчэнь Ли, 22.07.2020 г.
Amazon EKS теперь поддерживает инстансы EC2 Inf1
Жюльен Симон (Julien Simon), 15.06.2020 г.
Джеф Барр (Jeff Barr), 03.12.2019 г.
