Машинное обучение на AWS

Машинное обучение может использовать любой разработчик и специалист по работе с данными

Компания Amazon уже более 20 лет вкладывает силы и средства в разработки, связанные с искусственным интеллектом. Многие из наших внутренних систем работают на базе алгоритмов машинного обучения (ML). Они лежат в основе всех возможностей, которыми пользуются наши клиенты, – от оптимизации маршрута в наших центрах обработки и механизма рекомендаций Amazon.com до платформы Echo на базе Alexa, нашей инициативы по использованию дронов Prime Air и новых точек розничной торговли Amazon Go. И это только начало. Наша миссия состоит в том, чтобы поделиться своими знаниями и возможностями ML в формате полностью управляемых сервисов, а также предоставить к ним доступ всем разработчикам и специалистам по работе с данными.

Каковы преимущества использования машинного обучения на AWS?

Машинное обучение для каждого

AWS предлагает сервисы ML и инструменты, разработанные с учетом потребностей клиентов и их квалификации. Они в одинаковой степени подходят для специалистов по работе с данными, разработчиков и исследователей в сфере машинного обучения.

Сервисы ML, доступные через API

Разработчики могут легко добавлять в любое приложение интеллектуальные функции, используя набор разнообразных предварительно обученных сервисов для машинного зрения, генерирования речи, анализа языка и применения чатботов.

Поддержка множества платформ

AWS поддерживает все основные платформы машинного обучения, включая TensorFlow, Caffe2 и Apache MXNet, чтобы клиенты могли использовать или разрабатывать любые модели по выбору.

Широкий спектр вычислительных возможностей

AWS предлагает широкий спектр вычислительных возможностей для обучения и получения логических выводов с использованием мощных инстансов на графических процессорах, инстансов, оптимизированных для вычислений и для задач с высокими требованиями к памяти, и даже инстансов с FPGA.

Глубокая интеграция компонентов платформы

Сервисы машинного обучения (ML) глубоко интегрированы с другими компонентами платформы AWS, включая инструменты для работы с озерами и базами данных, необходимые для выполнения рабочих нагрузок ML. Озеро данных на AWS обеспечивает доступ к самой полнофункциональной платформе для работы с большими данными.

Широкий набор сервисов аналитики

Выбирайте нужное из широкого набора сервисов для анализа данных, включая сервисы хранения данных, бизнес-аналитики, пакетной обработки, обработки потоковых данных и оркестрации рабочих процессов.

Безопасность

Контроль доступа к ресурсам с помощью точных политик разрешений. Сервисы хранения и сервисы баз данных поддерживают надежное шифрование, которое обеспечивает безопасность данных. Гибкие варианты управления ключами позволяют выбрать самостоятельное управление или поручить AWS управлять ключами шифрования.

Оплата по факту использования

Используйте сервисы по мере необходимости и платите только за то время, когда используете их. Цены на сервисы AWS не предполагают авансовых платежей, штрафов за расторжение договора или долгосрочных контрактов. Начать работу с AWS помогает уровень бесплатного пользования.

В облаке AWS создается больше продуктов на базе машинного обучения, чем где бы то ни было

zillow-logo-250x100
200x100_Netflix_Logo
Capital_One
NFL
Samsung_Smartthings
Kia
liberty-mutual-logo
200x100_Expedia_Logo
Duolingo
Pinterest
Tinder
FINRA
200x100_Intuit-Inc_Logo
CMU
Infor
OpenAI

Быстрое обучение и развертывание моделей

Amazon SageMaker

Amazon SageMaker позволяет специалистам по работе с данными и разработчикам быстро и просто создавать, обучать и развертывать модели машинного обучения на основе высокопроизводительных алгоритмов. Сервис поддерживает множество платформ машинного обучения и дает возможность выполнять обучение, настройку и получение логических выводов за один щелчок мышью. Amazon SageMaker имеет модульную архитектуру, благодаря чему в существующих рабочих процессах машинного обучения можно использовать как все его возможности, так и любую их часть. 

Подробнее »

SageMaker_How_it_works

Получите практический опыт работы с AWS DeepLens

AWS DeepLens – это первая в мире видеокамера для разработчиков с поддержкой глубокого обучения. Она интегрирована с Amazon SageMaker и многими другими сервисами AWS и позволяет быстро приступить к использованию глубокого обучения.

Подробнее »  

Новый способ обучения

AWS DeepLens позволяет разработчикам любой квалификации начать работу с глубоким обучением менее чем за 10 минут, используя образцы проектов с практическими примерами.

Полностью программируемое устройство

AWS DeepLens легко настраивать и программировать с помощью AWS Lambda. Для быстрого проведения экспериментов сами модели глубокого обучения на DeepLens работают как части функций AWS Lambda.

Специальное аппаратное обеспечение для глубокого обучения

AWS DeepLens – это физическая беспроводная видеокамера высокого разрешения со встроенными специально разработанными вычислительными ресурсами, которые позволяют делать логические выводы на основе глубокого обучения по сложным моделям в режиме реального времени.

Специальная разработка для глубокого обучения

DeepLens поставляется с предварительно установленной и оптимизированной версией Apache MXNet. На устройстве можно запускать любую инфраструктуру глубокого обучения, включая TensorFlow и Caffe2.

deeplens_front_crop

Сервисы, доступные через API, делают интеллектуальным любое приложение

Наши интеллектуальные сервисы позволяют добавлять в приложения интеллектуальные функции, обращаясь через вызовы API к предварительно обученным сервисам. Теперь не нужно изобретать велосипед и разрабатывать и обучать собственные модели.

Сервисы машинного зрения

Диалоговые чатботы

Amazon Rekognition Image

Анализ изображений на основе глубокого обучения

Amazon Rekognition Video

Анализ видео на основе глубокого обучения

Amazon Lex

Создание чатов для привлечения клиентов

Amazon Comprehend

Выявление закономерностей и взаимосвязей в тексте

Amazon Translate

Беглый перевод текстов

Amazon Transcribe

Автоматическое распознавание речи

Публикации в блоге

Преобразование текста в речь с естественным звучанием

Разработка сложных моделей на любых платформах

AWS поддерживает все основные платформы глубокого обучения, обеспечивая максимально открытую и гибкую среду для разработчиков и специалистов по работе с данными.

Образы Amazon Deep Learning AMI

Образы AWS Deep Learning AMI предоставляют инфраструктуру и инструменты для ускорения глубокого обучения в облаке. Эти образы включают предварительно установленные платформы Apache MXNet, TensorFlow, PyTorch, Microsoft Cognitive Toolkit (CNTK), Caffe, Caffe2, Theano, Torch, Gluon и Keras, что дает возможность обучать собственные сложные модели AI. Образы Amazon Deep Learning AMI позволяют создавать управляемые, автоматически масштабируемые кластеры на графических процессорах для обучения в большом масштабе или запускать получение логических выводов на обученных моделях в инстансах, оптимизированных для вычислений, или инстансах общего назначения.

Подробнее »

caffe2_logo_200px
keras_logo_words_200px
cntk_logo_200px
pytorch_logo_200px

gluon-logo

Разработанная AWS и Microsoft библиотека Gluon предоставляет понятный, лаконичный API для определения моделей машинного обучения с использованием набора встроенных оптимизированных компонентов нейронной сети. Для разработчиков, не знакомых с машинным обучением, этот интерфейс будет похож на традиционный программный код, поскольку с его помощью модели машинного обучения можно определять и использовать так же, как и любые другие структуры данных. Более опытные специалисты по работе с данными оценят возможность быстро создавать прототипы и использовать динамические диаграммы нейронной сети для моделей с совершенно новыми архитектурами, и все это – без снижения скорости обучения.

Сегодня библиотека Gluon доступна на платформе Apache MXNet, а также включена в следующий выпуск Microsoft Cognitive Toolkit; через некоторое время она будет доступна и на других платформах.

Подробнее »

Применяйте нужные вычислительные ресурсы в любых примерах использования

Для машинного обучения требуется большой запас мощных вычислительных возможностей, начиная с графических процессоров для глубокого обучения, требующего расширенных вычислительных мощностей, и заканчивая программируемыми логическими интегральными схемами (FPGA), которые используются для специализированного аппаратного ускорения, а также инстансами с большим объемом памяти для получения логических выводов.Сервис Amazon EC2 предоставляет широкий выбор типов инстансов, оптимизированных для различных примеров использования. Типы инстансов включают в себя различные комбинации ЦПУ, памяти, хранилища и сетевых возможностей. Они обеспечивают гибкость при выборе подходящего сочетания ресурсов как для обучения моделей, так и для получения логических выводов на обученных моделях.

Инстансы с графическим процессором

Nvidia

Инстансы P3 обеспечивают производительность в 14 раз выше, чем вычислительные инстансы на графических процессорах Amazon EC2 предыдущего поколения. В инстансах P3 используется до 8 графических процессоров NVIDIA Tesla V100; они обеспечивают производительность вычислений с плавающей точкой до одного петафлопса в режиме смешанной точности, до 125 терафлопс в режиме одинарной точности и до 62 терафлопс в режиме двойной точности.

Подробнее »

Мощные вычислительные возможности

Intel

Инстансы C5 работают на базе процессоров Intel Xeon Scalable с частотой 3,0 ГГц и позволяют одному ядру работать на частоте до 3,5 ГГц за счет использования технологии Intel Turbo Boost. Инстансы C5 обеспечивают повышенное соотношение объема памяти и количества виртуальных CPU, на 25 % улучшают соотношение цены и производительности по сравнению с инстансами C4 и идеально подходят для требовательных к ресурсам приложений для получения логических выводов. 

Подробнее »

FPGA по требованию

Инстанс F1 в Amazon EC2 – это вычислительный инстанс с программируемыми логическими интегральными схемами (FPGA), которые можно использовать для аппаратного ускорения приложений машинного обучения. Инстансы F1 предоставляют все необходимые средства для разработки, моделирования, отладки и сборки кода аппаратного ускорения. Программирование таких инстансов выполняется просто. Разработанные проекты можно использовать неограниченное количество раз на любых инстансах F1.

Подробнее »

Ведите разработку на базе самой полнофункциональной платформы для больших данных

Для успешного машинного обучения необходимы не только сами возможности машинного обучения, но и совместная работа соответствующих сервисов хранения данных, обеспечения безопасности и аналитики.

Сервисы для озер данных

S3

Amazon S3

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любой точки сети. Сервис гарантирует надежность хранения на уровне 99,999999999 % и используется для хранения данных миллионами приложений, применяемых лидерами рынка во всех отраслях. S3 открывает широчайшие возможности для обеспечения безопасности и соответствия согласно самым строгим нормативным требованиям. Amazon S3 – это самая поддерживаемая из доступных платформ хранилищ с максимальным выбором решений от сторонних независимых поставщиков (ISV) и партнеров по интеграции систем.  

Подробнее »

GLUE

AWS Glue

AWS Glue – это полностью управляемый сервис извлечения, преобразования и загрузки (ETL), который позволяет клиентам легко подготовить и загрузить свои данные для аналитики. Создать и запустить задание ETL можно за несколько щелчков мышью в Консоли управления AWS. Достаточно указать AWS Glue на свои данные, хранящиеся на AWS, и AWS Glue будет обнаруживать их и сохранять соответствующие метаданные в каталоге данных AWS Glue Data Catalog. После каталогизации данные немедленно становятся доступны для поиска, выполнения запросов и операций ETL.

Подробнее »


Сервисы аналитики

ATHENA

Amazon Athena

Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы.

Подробнее »

EMR

Amazon EMR

AWS EMR позволяет быстро обрабатывать огромные объемы неструктурированных данных в динамически масштабируемых кластерах с использованием популярных платформ, таких как Apache Spark, Presto, Hive и Pig.

Подробнее »

REDSHIFT

Amazon Redshift

Amazon Redshift – это полностью управляемое высокоскоростное хранилище данных, которое позволяет проще и дешевле выполнять анализ данных в масштабе петабайтов с помощью стандартного языка SQL и имеющихся инструментов бизнес-аналитики.

Подробнее »

REDSHIFT SPECTRUM

Amazon Redshift Spectrum

Redshift Spectrum позволяет выполнять SQL-запросы Amazon Redshift к эксабайтам данных в Amazon S3. Это расширяет аналитические возможности Amazon Redshift для выполнения запросов к огромным объемам неструктурированных данных в озере данных Amazon S3.

Подробнее »

Программы машинного обучения

Компания Amazon ставит своей целью предоставление возможностей машинного обучения каждому разработчику, исследователю и специалисту по работе с данными. Мы рады предложить программы, которые способствуют созданию решений на основе машинного обучения.

Amazon ML Solutions Lab

В рамках программы Amazon ML Solutions Lab ваша команда комплектуется специалистами по машинному обучению Amazon для совместной подготовки данных, создания, обучения и запуска моделей в работу. Программа включает практические учебные семинары с элементами мозгового штурма и консультативные профессиональные услуги, которые помогут выполнить разбор бизнес-задач в обратном направлении, а затем шаг за шагом пройти весь процесс разработки решения на основе машинного обучения. В конце программы вы сможете использовать полученные знания и применить машинное обучение для решения других задач, стоящих перед организацией, а также для развития перспективных направлений бизнеса.

Подробнее »

Гранты Amazon ML Research

Программа поощрительных премий AWS Machine Learning Research обеспечивает финансирование университетских факультетов, преподавателей, аспирантов и старших научных сотрудников, которые проводят инновационные исследования в области машинного обучения (ML).

Наша цель – ускорить разработку инновационных алгоритмов, публикаций и исходного кода для широкого спектра приложений и областей применения машинного обучения. Избранные проекты получают неограниченные субсидии наличными средствами и кредиты AWS, которые могут быть направлены на оплату любого из наших облачных сервисов. Кроме того, получатели субсидий могут воспользоваться учебными ресурсами и приобретают право посещать ежегодный исследовательский семинар в нашей штаб-квартире в Сиэтле.

Подробнее »

Интеграция машинного обучения на всей платформе AWS

Машинное обучение на AWS выходит далеко за рамки сервисов, специально предназначенных для создания приложений машинного обучения. Многие сервисы используют машинное обучение для улучшения предоставляемой клиентам функциональности.

ATHENA

Amazon Connect

Amazon Connect, облачный кол-центр, интегрирован с Amazon Lex для создания диалоговых речевых агентов, называемых чатботами, которые могут автоматически разрешать и маршрутизировать входящие вызовы в службу поддержки клиентов.

Подробнее »

MACIE

Amazon Macie

Amazon Macie – это сервис безопасности, который использует машинное обучение для автоматического обнаружения, классификации и защиты конфиденциальных данных в AWS. Amazon Macie предоставляет информационные панели и предупреждения, которые позволяют увидеть, как осуществляется доступ к данным и как они перемещаются. Это дает возможность принимать меры по предотвращению несанкционированного доступа или утечек данных.

Подробнее »

Начать работу с машинным обучением на AWS

Есть вопросы?
Свяжитесь с нами