Машинное обучение на AWS
Машинное обучение может использовать любой разработчик и специалист по работе с данными
Компания Amazon уже более 20 лет вкладывает силы и средства в разработки, связанные с искусственным интеллектом. Многие из наших внутренних систем работают на базе алгоритмов машинного обучения (ML). Они лежат в основе всех возможностей, которыми пользуются наши клиенты, включая оптимизацию маршрута в наших центрах обработки, механизм рекомендаций Amazon.com, платформу Echo на базе Alexa, инициативу по использованию дронов Prime Air и новые точки розничной торговли Amazon Go. И это только начало. Наша миссия состоит в том, чтобы делиться своими знаниями и возможностями ML в формате полностью управляемых сервисов, а также предоставлять к ним доступ всем разработчикам и специалистам по работе с данными.
Каковы преимущества использования машинного обучения на AWS?
Машинное обучение для каждого
Сервисы ML, доступные через API
Поддержка множества платформ
Широкий спектр вычислительных возможностей
Глубокая интеграция компонентов платформы
Широкий набор сервисов аналитики
Безопасность
Оплата по факту использования
Быстрое обучение и развертывание моделей
Amazon SageMaker
Amazon SageMaker позволяет разработчикам и специалистам по работе с данными быстро и просто создавать, обучать и развертывать модели машинного обучения на основе высокопроизводительных алгоритмов. Сервис поддерживает множество платформ машинного обучения и дает возможность выполнять обучение, настройку и получение логических выводов за один щелчок мышью. Amazon SageMaker имеет модульную архитектуру, благодаря чему в существующих рабочих процессах машинного обучения можно использовать как все его возможности, так и любую их часть.
Практический опыт работы с AWS DeepLens
AWS DeepLens – это первая в мире видеокамера с поддержкой глубокого обучения для разработчиков. Она интегрирована с Amazon SageMaker и многими другими сервисами AWS, что позволяет быстро приступить к использованию глубокого обучения.
Новый способ обучения
AWS DeepLens позволяет разработчикам любой квалификации начать работу с глубоким обучением менее чем за 10 минут, используя образцы проектов с практическими примерами.
Полностью программируемое устройство
AWS DeepLens легко настраивать и программировать с помощью AWS Lambda. Для быстрого проведения экспериментов модели глубокого обучения на DeepLens работают как части функций AWS Lambda.
Специальное аппаратное обеспечение для глубокого обучения
AWS DeepLens – это физическая беспроводная видеокамера высокого разрешения со встроенными специально разработанными вычислительными ресурсами, которые позволяют делать логические выводы на основе глубокого обучения по сложным моделям в режиме реального времени.
Специальная разработка для глубокого обучения
DeepLens поставляется с предварительно установленной и оптимизированной версией Apache MXNet. На устройстве можно запускать любые платформы глубокого обучения, включая TensorFlow и Caffe2.
Сервисы, доступные через API, делают интеллектуальным любое приложение
Наши интеллектуальные сервисы позволяют добавлять в приложения интеллектуальные функции, обращаясь через вызовы API к предварительно обученным сервисам. Теперь не нужно изобретать велосипед, разрабатывая и обучая собственные модели.
Сервисы машинного зрения
Диалоговые чатботы
Языковые сервисы
Разработка сложных моделей на любых платформах
AWS поддерживает все основные платформы глубокого обучения, обеспечивая максимально открытую и гибкую среду для разработчиков и специалистов по работе с данными.
Образы Amazon Deep Learning AMI
Образы AWS Deep Learning AMI предоставляют инфраструктуру и инструменты для ускорения глубокого обучения в облаке. Эти образы включают предварительно установленные платформы Apache MXNet, TensorFlow, PyTorch, Microsoft Cognitive Toolkit (CNTK), Caffe, Caffe2, Theano, Torch, Gluon и Keras, что дает возможность обучать собственные сложные модели искусственного интеллекта. Образы Amazon Deep Learning AMI позволяют создавать управляемые, автоматически масштабируемые кластеры на графических процессорах для крупномасштабного обучения или запускать получение логических выводов на обученных моделях в инстансах, оптимизированных для вычислений, или инстансах общего назначения.
Разработанная AWS и Microsoft библиотека Gluon предоставляет понятный лаконичный API для определения моделей машинного обучения с использованием набора встроенных оптимизированных компонентов нейронной сети. Для разработчиков, не знакомых с машинным обучением, этот интерфейс будет похож на традиционный программный код: с его помощью модели машинного обучения можно определять и использовать так же, как и любые другие структуры данных. Более опытные исследователи и специалисты по работе с данными оценят возможность быстро создавать прототипы и использовать динамические диаграммы нейронной сети для моделей с совершенно новыми архитектурами, и все это – без снижения скорости обучения.
Сегодня библиотека Gluon доступна на платформе Apache MXNet, а также включена в следующий выпуск Microsoft Cognitive Toolkit. Через некоторое время она будет доступна и на других платформах.
Оптимальные вычислительные ресурсы для любых примеров использования
Для машинного обучения необходим большой запас мощных вычислительных возможностей, начиная с графических процессоров для глубокого обучения, требующего расширенных вычислительных мощностей, и заканчивая программируемыми логическими интегральными схемами (FPGA), которые используются для специализированного аппаратного ускорения. Кроме того, необходимы инстансы с большим объемом памяти для получения логических выводов. Сервис Amazon EC2 предоставляет широкий выбор типов инстансов, оптимизированных для различных примеров использования. Типы инстансов включают в себя различные комбинации ЦПУ, памяти, хранилища и сетевых возможностей. Они обеспечивают гибкость при выборе подходящего сочетания ресурсов как для обучения моделей, так и для получения логических выводов на обученных моделях.
Инстансы на графических процессорах
Инстансы P3 обеспечивают производительность в 14 раз выше, чем вычислительные инстансы Amazon EC2 предыдущего поколения на графических процессорах. В инстансах P3 используется до 8 графических процессоров NVIDIA Tesla V100. Они обеспечивают производительность вычислений с плавающей точкой до одного петафлопса в режиме смешанной точности, до 125 терафлопс в режиме одинарной точности и до 62 терафлопс в режиме двойной точности.
Мощные вычислительные возможности
Инстансы C5 работают на базе процессоров Intel Xeon Scalable с частотой 3,0 ГГц. При этом одно ядро может работать на частоте до 3,5 ГГц благодаря использованию технологии Intel Turbo Boost. Инстансы C5 имеют повышенное соотношение объема памяти и количества виртуальных CPU, на 25 % улучшают соотношение цены и производительности по сравнению с инстансами C4 и идеально подходят для требовательных к ресурсам приложений для получения логических выводов.
FPGA по требованию
Инстанс F1 в Amazon EC2 – это вычислительный инстанс с программируемыми логическими интегральными схемами (FPGA), которые можно использовать для аппаратного ускорения приложений машинного обучения. Инстансы F1 отличаются простотой программирования и предоставляют все необходимые средства для разработки, моделирования, отладки и сборки кода аппаратного ускорения. Разработанные проекты можно использовать неограниченное количество раз на любых инстансах F1.
Ведите разработку на базе самой полнофункциональной платформы для больших данных
Для успешного машинного обучения необходимы не только сами возможности машинного обучения, но и совместная работа соответствующих сервисов хранения данных, обеспечения безопасности и аналитики.
Сервисы для озер данных
Amazon S3
Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любой точки сети. Сервис гарантирует надежность хранения на уровне 99,999999999 % и используется для хранения данных миллионов приложений, применяемых лидерами рынка во всех отраслях. S3 открывает широчайшие возможности для обеспечения безопасности и соответствия самым строгим нормативным требованиям. Amazon S3 – это самая широко поддерживаемая из доступных платформ хранилищ с максимальным выбором решений от сторонних независимых поставщиков (ISV) и партнеров по интеграции систем.
AWS Glue
AWS Glue – это полностью управляемый сервис извлечения, преобразования и загрузки данных (ETL), который упрощает подготовку пользовательских данных для анализа. Создать и запустить задание ETL можно за пару щелчков мышью в Консоли управления AWS. Достаточно указать AWS Glue на свои данные, хранящиеся на AWS, и сервис будет обнаруживать их и сохранять соответствующие метаданные в каталоге данных AWS Glue Data Catalog. После каталогизации данные немедленно становятся доступны для поиска, выполнения запросов и операций ETL.
Сервисы аналитики
Amazon Athena
Amazon Athena – это интерактивный сервис запросов, позволяющий легко анализировать данные в хранилище Amazon S3 с помощью стандартных средств SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы.
Amazon EMR
AWS EMR позволяет быстро обрабатывать огромные объемы неструктурированных данных в динамически масштабируемых кластерах с использованием популярных платформ, таких как Apache Spark, Presto, Hive и Pig.
Amazon Redshift
Amazon Redshift – это полностью управляемое высокоскоростное хранилище данных, которое позволяет экономично и без труда анализировать петабайты данных с помощью стандартного языка SQL и имеющихся инструментов бизнес‑аналитики.
Amazon Redshift Spectrum
С помощью Redshift Spectrum можно выполнять SQL‑запросы Amazon Redshift к эксабайтам данных в Amazon S3. Это позволяет использовать аналитические возможности Amazon Redshift для выполнения запросов к огромным объемам неструктурированных данных в озере данных Amazon S3.
Программы машинного обучения
Компания Amazon ставит своей целью предоставление возможностей машинного обучения каждому разработчику, исследователю и специалисту по работе с данными. Мы рады предложить программы, которые способствуют созданию решений на основе машинного обучения.
Amazon ML Solutions Lab
В рамках программы Amazon ML Solutions Lab ваша команда комплектуется специалистами по машинному обучению Amazon для совместной подготовки данных, создания, обучения и запуска моделей в работу. Программа включает практические учебные семинары с элементами мозгового штурма и консультативные профессиональные услуги, которые помогут выполнить разбор бизнес‑задач в обратном направлении, а затем шаг за шагом пройти весь процесс разработки решения на основе машинного обучения. После прохождения программы вы сможете использовать полученные знания и применить машинное обучение для решения других задач, стоящих перед организацией, а также для развития перспективных направлений бизнеса.
Гранты Amazon ML Research
Программа поощрительных премий AWS Machine Learning Research обеспечивает финансирование университетских факультетов, преподавателей, аспирантов и старших научных сотрудников, которые проводят инновационные исследования в области машинного обучения (ML).
Наша цель – ускорить разработку инновационных алгоритмов, публикаций и исходного кода для широкого спектра приложений и областей применения машинного обучения. Избранные проекты получают неограниченные субсидии наличными средствами и кредиты AWS, которые могут быть направлены на оплату любого из наших облачных сервисов. Кроме того, получатели субсидий могут воспользоваться учебными ресурсами и приобретают право посещать ежегодный исследовательский семинар в нашей штаб‑квартире в Сиэтле.
Интеграция машинного обучения на платформе AWS
Машинное обучение на AWS выходит далеко за рамки сервисов, специально предназначенных для создания приложений машинного обучения. Многие сервисы используют машинное обучение для расширения возможностей, предоставляемых клиентам.
Amazon Connect
Облачный колл‑центр Amazon Connect интегрирован с Amazon Lex для создания диалоговых речевых агентов (чатботов), которые могут автоматически разрешать и маршрутизировать входящие вызовы в службу поддержки клиентов.
Amazon Macie
Amazon Macie – это сервис безопасности, который использует машинное обучение для автоматического обнаружения, классификации и защиты конфиденциальных данных в облаке AWS. Amazon Macie предоставляет информационные панели и предупреждения, которые позволяют увидеть, как осуществляется доступ к данным и как они перемещаются. Это дает возможность принимать меры по предотвращению несанкционированного доступа или утечек данных.
Начать работу с машинным обучением на AWS
