Инстансы Amazon EC2 Inf1

Высокопроизводительные и самые экономичные логические выводы машинного обучения в облаке

Инстансы Amazon EC2 Inf1 обеспечивают высокопроизводительные и самые экономичные логические выводы машинного обучения в облаке. Инстансы Inf1 изначально разработаны для поддержки приложений логических выводов машинного обучения. Эти инстансы содержат до 16 высокопроизводительных микросхем логических выводов машинного обучения AWS Inferentia, разработанных и созданных компанией AWS. Кроме того, микросхемы Inferentia дополнены самыми современными специальными процессорами Intel® Xeon® Scalable 2-го поколения и сетевым интерфейсом со скоростью до 100 Гбит/с, что обеспечивает высокую пропускную способность логических выводов. Такая мощная конфигурация позволяет инстансам Inf1 обеспечивать до трех раз большую пропускную способность и до 40 % меньшую стоимость логических выводов, чем инстансы Amazon EC2 G4, которые до сих пор считались самым экономичным решением для логических выводов машинного обучения из доступных в облаке. С помощью инстансов Inf1 клиенты могут с самой низкой стоимостью в облаке запускать широкомасштабные приложения логических выводов машинного обучения, такие как распознавание изображений и речи, обработка естественного языка, персонализация и выявление мошенничества.

Клиенты в разнообразных отраслях переходят на машинное обучение, адаптируясь к типичным сценариям использования таких приложений, как предоставление индивидуальных рекомендаций о покупках, усовершенствование надежности и безопасности посредством модерации интернет-контента, а также улучшение взаимодействия клиентов с чат-ботами. Клиенты хотят больше производительности для приложений машинного обучения, чтобы обеспечить как можно более удобные условия работы для конечных пользователей.

Чтобы начать работу с инстансами Inf1, вы можете взять обученную модель машинного обучения и скомпилировать ее для запуска на микросхеме AWS Inferentia с помощью AWS Neuron. AWS Neuron – это комплект средств разработки ПО (SDK), состоящий из компилятора, среды выполнения и инструментов профилирования, который оптимизирует производительность микросхем Inferentia. Он интегрирован с популярными платформами машинного обучения, такими как TensorFlow, PyTorch и MXNet, и предустановлен в образах AMI AWS Deep Learning. Его также можно установить в собственной среде без платформы. Самый простой и быстрый способ начать работу с инстансами Inf1 – через Amazon SageMaker, полностью управляемый сервис, позволяющий разработчикам быстро создавать, обучать и развертывать модели машинного обучения. Amazon SageMaker поддерживает инстансы Inf1 и AWS Neuron, обеспечивая быстрое развертывание моделей машинного обучения на автомасштабируемых инстансах Inf1 в нескольких зонах доступности для высокой избыточности.

SiteMerch-EC2-Instances_accelerated-trial_2up

Бесплатная пробная версия: до 10 000 USD в виде кредитов AWS на инстансы EC2 с аппаратным ускорением, которые идеально подходят для ML, HPC и графических приложений.

Нажмите здесь, чтобы подать заявку 
Инстансы Amazon EC2 Inf1 на основе AWS Inferentia (2:51)

Преимущества

До 40 % меньшая стоимость логических выводов

Высокая пропускная способность инстансов Inf1 обеспечивает наименьшую стоимость логических выводов в облаке – до 40 % меньше, чем инстансы Amazon EC2 G4, которые до сих пор считались самым экономичным решением для логических выводов машинного обучения из доступных в облаке. Поскольку на логические выводы машинного обучения приходится до 90 % всех эксплуатационных расходов на рабочие нагрузки машинного обучения, это приведет к значительной экономии средств.

До трех раз большая пропускная способность

Инстансы inf1 обеспечивают высокую пропускную способность для приложений пакетных логических выводов – до трех раз большую, чем инстансы Amazon EC2 G4. Приложения пакетных логических выводов, такие как расстановка тегов на фотографиях, чувствительны к пропускной способности логических выводов, т. е. к количеству обрабатываемых логических выводов в секунду. Благодаря наличию в них от 1 до 16 микросхем AWS Inferentia, инстансы Inf1 могут масштабировать свою продуктивность до 2000 триллионов операций в секунду (терафлопсов).

Крайне низкая задержка

Инстансы inf1 обеспечивают крайне низкую задержку для приложений в режиме реального времени. Приложения логических выводов в режиме реального времени, такие как распознавание речи, требуют быстрой реакции на ввод пользователя и чувствительны к задержке логических выводов. Большой объем встроенной памяти на микросхемах AWS Inferentia позволяет инстансам Inf1 кэшировать модели машинного обучения прямо в микросхеме. Благодаря этому во время производства логических выводов отпадает потребность в доступе к внешним ресурсам памяти, что снижает задержку, не влияя на пропускную способность.

Удобство использования

Инстансы Inf1 легко использовать, так как они практически не требуют изменений кода, разве что незначительных, для поддержки развертывания моделей, обученных с помощью самых популярных платформ, таких как TensorFlow, PyTorch и MXNet. Самый простой и быстрый способ начать работу с инстансами Inf1 – это Amazon SageMaker, полностью управляемый сервис, позволяющий разработчикам быстро создавать, обучать и развертывать модели машинного обучения.

Гибкость для разных моделей машинного обучения

Благодаря пакету AWS Neuron инстансы Inf1 поддерживают многие часто используемые модели машинного обучения, такие как средство обнаружения объектов на одном снимке (SSD) и ResNet для распознавания или классификации изображений, а также Transformer и BERT для обработки и перевода естественного языка.

Поддержка нескольких типов данных

Инстансы Inf1 поддерживают несколько типов данных, в том числе INT8, BF16 и FP16 со смешанной точностью, обеспечивая широкий диапазон моделей и требований к производительности.

Amazon SageMaker

Amazon SageMaker упрощает компиляцию и развертывание обученной модели машинного обучения в производственной среде на инстансах Amazon Inf1, чтобы вы могли начать генерировать прогнозы в реальном времени и с низкой задержкой. Amazon SageMaker – это полностью управляемый сервис, который предоставляет разработчикам и специалистам по работе с данными возможность быстро создавать, обучать и развертывать модели машинного обучения. Amazon SageMaker берет на себя большую часть работы на каждом этапе машинного обучения, чтобы упростить разработку высококачественных моделей, настроить их для оптимизации производительности и ускорить их развертывание в производственной среде. AWS Neuron, компилятор для AWS Inferentia, интегрирован с Amazon SageMaker Neo, что позволяет компилировать обученные модели машинного обучения для оптимальной работы на инстансах Inf1. С помощью Amazon SageMaker вы можете легко запускать модели в автомасштабируемых кластерах инстансов Inf1, расположенных в нескольких зонах доступности, что обеспечивает высокую производительность и высокую доступность логических выводов в реальном времени.

Подробнее »

Принцип работы сервиса

Использование Inf1 и AWS Inferentia

Микросхемы AWS Inferentia

AWS Inferentia – это микросхема логических выводов машинного обучения, разработанная и созданная компанией AWS для обеспечения высокой производительности и низкой стоимости. Каждая микросхема AWS Inferentia оснащена 4 ядрами NeuronCore и поддерживает типы данных FP16, BF16 и INT8. Микросхемы AWS Inferentia имеют большой объем встроенной памяти, которую можно использовать для кэширования больших моделей, что особенно полезно для моделей, которым необходим частый доступ к памяти. AWS Inferentia поставляется с комплектом средств разработки ПО (SDK) AWS Neuron, состоящим из компилятора, среды выполнения и инструментов профилирования. Он позволяет выполнять сложные модели нейронных сетей, созданные и обученные на популярных платформах, таких как Tensorflow, PyTorch и MXNet, используя инстансы Amazon EC2 Inf1 на основе AWS Inferentia. AWS Neuron также позволяет разделять большие модели для выполнения на нескольких микросхемах Inferentia с использованием высокоскоростного физического межсоединения микросхем, что повышает пропускную способность и снижает затраты.

Подробнее >>

Примеры использования

Рекомендации

Машинное обучение все чаще используется для большего вовлечения клиентов за счет персонализированных продуктов и рекомендаций контента, индивидуально подобранных результатов поиска и нацеленных маркетинговых акций.

Прогнозирование

На сегодняшний день компании используют все средства от простых электронных таблиц до сложного программного обеспечения для финансового планирования в попытках спрогнозировать результаты дальнейшей бизнес-деятельности, в частности спрос на продукцию, необходимые ресурсы или финансовые показатели. Эти средства строят прогнозы на основании данных за прошлые периоды – так называемых «данных временного ряда». Компании все чаще используют машинное обучение, чтобы строить прогнозы на основании сочетания данных временного ряда с дополнительными переменными.

Анализ изображений и видео

Сегодня машинное обучение используется для распознавания объектов, людей, текста, сцен и видов деятельности, а также обнаружения неприемлемого контента в изображениях и видео. Кроме того, анализ и распознавание лиц в изображениях и видео позволяет обнаруживать, анализировать и сопоставлять лица для различных целей, таких как проверка пользователей, подсчет людей и обеспечение общественной безопасности.

Расширенная текстовая аналитика

Машинное обучение отлично подходит для точной идентификации представляющих интерес терминов в больших объемах текста (поиск названий компаний в аналитических отчетах) и оценки настроений, выражаемых в языковых конструкциях (идентификация отрицательных отзывов или положительного опыта взаимодействия клиента со специалистом службы поддержки), практически в неограниченных масштабах.

Анализ документов

Машинное обучение можно использовать для мгновенного «прочтения» практически любых видов документов и точного извлечения из них текста и данных без потребности в человеческом труде или специальном коде. Можно быстро автоматизировать рабочие процессы, связанные с документацией, и обрабатывать миллионы страниц в час.

Голос

Компании могут использовать машинное обучение для преобразования текста в естественную речь, что позволяет разрабатывать говорящие приложения и создавать принципиально новые категории продуктов с поддержкой речевых интерфейсов. Сервисы преобразования текста в речь (TTS) могут применять расширенные технологии глубокого обучения для синтеза речи, которую почти не отличить от человеческой.

Диалоговые агенты

Искусственный интеллект способствует улучшению взаимодействия клиентов с колл-центрами благодаря использованию чат-ботов – интеллектуальных виртуальных помощников, оснащенных естественным языком. Такие чат-боты могут распознавать человеческую речь и определять намерения собеседника даже без использования им конкретных формулировок. Клиенты могут выполнять различные задачи, например менять пароли, запрашивать баланс счета или назначать встречи, не прибегая к помощи оператора.

Перевод

Компании могут использовать перевод на основе машинного обучения, чтобы добиться более точного и естественно звучащего текста, чем с помощью традиционных алгоритмов статистического и основанного на правилах перевода. Компании могут локализовать контент, например веб-сайты и приложения, для пользователей по всему миру, а также просто и эффективно переводить большие объемы текста.

Транскрибирование

Транскрибирование на основе машинного обучения можно применять для решения широкого круга стандартных задач, включая расшифровку телефонных обращений в службу поддержки и создание субтитров для аудио- и видеоконтента. Сервис транскрибирования может устанавливать в тексте метки времени для каждого слова, что позволяет без труда найти нужный фрагмент в исходной аудиозаписи по текстовому запросу.

Выявление мошенничества

Сервис выявления мошенничества с помощью машинного обучения обнаруживает потенциально мошеннические действия и помечает их для проверки. Выявления мошенничества, как правило, применяется в сфере финансовых услуг, чтобы классифицировать транзакции как законные или мошеннические с помощью модели, оценивающей их на основе суммы, местоположения, продавца или времени.

Здравоохранение

Машинное обучение в сфере здравоохранения позволяет врачам быстрее лечить пациентов, не только сокращая расходы, но и улучшая результат. Медицинские учреждения улучшают традиционные методы диагностики, такие как рентгеновские и ультразвуковые исследования и компьютерная томография, внедряя в них различные наборы данных, в частности указанные пациентом, определенные измерительными приборами или полученные из множества других источников, после чего алгоритмы машинного обучения могут выявить разницу между нормальными и аномальными результатами.

Цены

Начало работы

Чтобы скомпилировать и развернуть обученную модель машинного обучения на инстансе Inf1, можно использовать Amazon SageMaker или SDK AWS Neuron.

• Начните работу с AWS Neuron на Github
• Получите поддержку на форуме разработчиков AWS Neuron
• Узнайте, как развернуть модель на инстансе Inf1 с помощью Amazon SageMaker, изучив примеры Amazon SageMaker на Github