Машинное обучение на AWS
Машинное обучение может использовать любой разработчик и специалист по работе с данными
Компания Amazon уже более 20 лет вкладывает силы и средства в разработки, связанные с искусственным интеллектом. Многие из наших внутренних систем работают на базе алгоритмов машинного обучения (ML). Они лежат в основе всех возможностей, которыми пользуются наши клиенты, – от оптимизации маршрута в наших центрах обработки и механизма рекомендаций Amazon.com до платформы Echo на базе Alexa, нашей инициативы по использованию дронов Prime Air и новых точек розничной торговли Amazon Go. И это только начало. Наша миссия состоит в том, чтобы поделиться своими знаниями и возможностями ML в формате полностью управляемых сервисов, а также предоставить к ним доступ всем разработчикам и специалистам по работе с данными.
Каковы преимущества использования машинного обучения на AWS?
Машинное обучение для каждого
Сервисы ML, доступные через API
Поддержка множества платформ
Широкий спектр вычислительных возможностей
Глубокая интеграция компонентов платформы
Широкий набор сервисов аналитики
Безопасность
Оплата по факту использования
Быстрое обучение и развертывание моделей
Amazon SageMaker
Amazon SageMaker позволяет специалистам по работе с данными и разработчикам быстро и просто создавать, обучать и развертывать модели машинного обучения на основе высокопроизводительных алгоритмов. Сервис поддерживает множество платформ машинного обучения и дает возможность выполнять обучение, настройку и получение логических выводов за один щелчок мышью. Amazon SageMaker имеет модульную архитектуру, благодаря чему в существующих рабочих процессах машинного обучения можно использовать как все его возможности, так и любую их часть.
Получите практический опыт работы с AWS DeepLens
AWS DeepLens – это первая в мире видеокамера для разработчиков с поддержкой глубокого обучения. Она интегрирована с Amazon SageMaker и многими другими сервисами AWS и позволяет быстро приступить к использованию глубокого обучения.
Новый способ обучения
AWS DeepLens позволяет разработчикам любой квалификации начать работу с глубоким обучением менее чем за 10 минут, используя образцы проектов с практическими примерами.
Полностью программируемое устройство
AWS DeepLens легко настраивать и программировать с помощью AWS Lambda. Для быстрого проведения экспериментов сами модели глубокого обучения на DeepLens работают как части функций AWS Lambda.
Специальное аппаратное обеспечение для глубокого обучения
AWS DeepLens – это физическая беспроводная видеокамера высокого разрешения со встроенными специально разработанными вычислительными ресурсами, которые позволяют делать логические выводы на основе глубокого обучения по сложным моделям в режиме реального времени.
Специальная разработка для глубокого обучения
DeepLens поставляется с предварительно установленной и оптимизированной версией Apache MXNet. На устройстве можно запускать любую инфраструктуру глубокого обучения, включая TensorFlow и Caffe2.
Сервисы, доступные через API, делают интеллектуальным любое приложение
Наши интеллектуальные сервисы позволяют добавлять в приложения интеллектуальные функции, обращаясь через вызовы API к предварительно обученным сервисам. Теперь не нужно изобретать велосипед и разрабатывать и обучать собственные модели.
Сервисы машинного зрения
Диалоговые чатботы
Языковые сервисы
Разработка сложных моделей на любых платформах
AWS поддерживает все основные платформы глубокого обучения, обеспечивая максимально открытую и гибкую среду для разработчиков и специалистов по работе с данными.
Образы Amazon Deep Learning AMI
Образы AWS Deep Learning AMI предоставляют инфраструктуру и инструменты для ускорения глубокого обучения в облаке. Эти образы включают предварительно установленные платформы Apache MXNet, TensorFlow, PyTorch, Microsoft Cognitive Toolkit (CNTK), Caffe, Caffe2, Theano, Torch, Gluon и Keras, что дает возможность обучать собственные сложные модели AI. Образы Amazon Deep Learning AMI позволяют создавать управляемые, автоматически масштабируемые кластеры на графических процессорах для обучения в большом масштабе или запускать получение логических выводов на обученных моделях в инстансах, оптимизированных для вычислений, или инстансах общего назначения.
Разработанная AWS и Microsoft библиотека Gluon предоставляет понятный, лаконичный API для определения моделей машинного обучения с использованием набора встроенных оптимизированных компонентов нейронной сети. Для разработчиков, не знакомых с машинным обучением, этот интерфейс будет похож на традиционный программный код, поскольку с его помощью модели машинного обучения можно определять и использовать так же, как и любые другие структуры данных. Более опытные специалисты по работе с данными оценят возможность быстро создавать прототипы и использовать динамические диаграммы нейронной сети для моделей с совершенно новыми архитектурами, и все это – без снижения скорости обучения.
Сегодня библиотека Gluon доступна на платформе Apache MXNet, а также включена в следующий выпуск Microsoft Cognitive Toolkit; через некоторое время она будет доступна и на других платформах.
Применяйте нужные вычислительные ресурсы в любых примерах использования
Для машинного обучения требуется большой запас мощных вычислительных возможностей, начиная с графических процессоров для глубокого обучения, требующего расширенных вычислительных мощностей, и заканчивая программируемыми логическими интегральными схемами (FPGA), которые используются для специализированного аппаратного ускорения, а также инстансами с большим объемом памяти для получения логических выводов.Сервис Amazon EC2 предоставляет широкий выбор типов инстансов, оптимизированных для различных примеров использования. Типы инстансов включают в себя различные комбинации ЦПУ, памяти, хранилища и сетевых возможностей. Они обеспечивают гибкость при выборе подходящего сочетания ресурсов как для обучения моделей, так и для получения логических выводов на обученных моделях.
Инстансы с графическим процессором
Инстансы P3 обеспечивают производительность в 14 раз выше, чем вычислительные инстансы на графических процессорах Amazon EC2 предыдущего поколения. В инстансах P3 используется до 8 графических процессоров NVIDIA Tesla V100; они обеспечивают производительность вычислений с плавающей точкой до одного петафлопса в режиме смешанной точности, до 125 терафлопс в режиме одинарной точности и до 62 терафлопс в режиме двойной точности.
Мощные вычислительные возможности
Инстансы C5 работают на базе процессоров Intel Xeon Scalable с частотой 3,0 ГГц и позволяют одному ядру работать на частоте до 3,5 ГГц за счет использования технологии Intel Turbo Boost. Инстансы C5 обеспечивают повышенное соотношение объема памяти и количества виртуальных CPU, на 25 % улучшают соотношение цены и производительности по сравнению с инстансами C4 и идеально подходят для требовательных к ресурсам приложений для получения логических выводов.
FPGA по требованию
Инстанс F1 в Amazon EC2 – это вычислительный инстанс с программируемыми логическими интегральными схемами (FPGA), которые можно использовать для аппаратного ускорения приложений машинного обучения. Инстансы F1 предоставляют все необходимые средства для разработки, моделирования, отладки и сборки кода аппаратного ускорения. Программирование таких инстансов выполняется просто. Разработанные проекты можно использовать неограниченное количество раз на любых инстансах F1.
Ведите разработку на базе самой полнофункциональной платформы для больших данных
Для успешного машинного обучения необходимы не только сами возможности машинного обучения, но и совместная работа соответствующих сервисов хранения данных, обеспечения безопасности и аналитики.
Сервисы для озер данных
Amazon S3
Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любой точки сети. Сервис гарантирует надежность хранения на уровне 99,999999999 % и используется для хранения данных миллионами приложений, применяемых лидерами рынка во всех отраслях. S3 открывает широчайшие возможности для обеспечения безопасности и соответствия согласно самым строгим нормативным требованиям. Amazon S3 – это самая поддерживаемая из доступных платформ хранилищ с максимальным выбором решений от сторонних независимых поставщиков (ISV) и партнеров по интеграции систем.
AWS Glue
AWS Glue – это полностью управляемый сервис извлечения, преобразования и загрузки (ETL), который позволяет клиентам легко подготовить и загрузить свои данные для аналитики. Создать и запустить задание ETL можно за несколько щелчков мышью в Консоли управления AWS. Достаточно указать AWS Glue на свои данные, хранящиеся на AWS, и AWS Glue будет обнаруживать их и сохранять соответствующие метаданные в каталоге данных AWS Glue Data Catalog. После каталогизации данные немедленно становятся доступны для поиска, выполнения запросов и операций ETL.
Сервисы аналитики
Amazon Athena
Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы.
Amazon EMR
AWS EMR позволяет быстро обрабатывать огромные объемы неструктурированных данных в динамически масштабируемых кластерах с использованием популярных платформ, таких как Apache Spark, Presto, Hive и Pig.
Amazon Redshift
Amazon Redshift – это полностью управляемое высокоскоростное хранилище данных, которое позволяет проще и дешевле выполнять анализ данных в масштабе петабайтов с помощью стандартного языка SQL и имеющихся инструментов бизнес-аналитики.
Amazon Redshift Spectrum
Redshift Spectrum позволяет выполнять SQL-запросы Amazon Redshift к эксабайтам данных в Amazon S3. Это расширяет аналитические возможности Amazon Redshift для выполнения запросов к огромным объемам неструктурированных данных в озере данных Amazon S3.
Программы машинного обучения
Компания Amazon ставит своей целью предоставление возможностей машинного обучения каждому разработчику, исследователю и специалисту по работе с данными. Мы рады предложить программы, которые способствуют созданию решений на основе машинного обучения.
Amazon ML Solutions Lab
В рамках программы Amazon ML Solutions Lab ваша команда комплектуется специалистами по машинному обучению Amazon для совместной подготовки данных, создания, обучения и запуска моделей в работу. Программа включает практические учебные семинары с элементами мозгового штурма и консультативные профессиональные услуги, которые помогут выполнить разбор бизнес-задач в обратном направлении, а затем шаг за шагом пройти весь процесс разработки решения на основе машинного обучения. В конце программы вы сможете использовать полученные знания и применить машинное обучение для решения других задач, стоящих перед организацией, а также для развития перспективных направлений бизнеса.
Гранты Amazon ML Research
Программа поощрительных премий AWS Machine Learning Research обеспечивает финансирование университетских факультетов, преподавателей, аспирантов и старших научных сотрудников, которые проводят инновационные исследования в области машинного обучения (ML).
Наша цель – ускорить разработку инновационных алгоритмов, публикаций и исходного кода для широкого спектра приложений и областей применения машинного обучения. Избранные проекты получают неограниченные субсидии наличными средствами и кредиты AWS, которые могут быть направлены на оплату любого из наших облачных сервисов. Кроме того, получатели субсидий могут воспользоваться учебными ресурсами и приобретают право посещать ежегодный исследовательский семинар в нашей штаб-квартире в Сиэтле.
Интеграция машинного обучения на всей платформе AWS
Машинное обучение на AWS выходит далеко за рамки сервисов, специально предназначенных для создания приложений машинного обучения. Многие сервисы используют машинное обучение для улучшения предоставляемой клиентам функциональности.
Amazon Connect
Amazon Connect, облачный кол-центр, интегрирован с Amazon Lex для создания диалоговых речевых агентов, называемых чатботами, которые могут автоматически разрешать и маршрутизировать входящие вызовы в службу поддержки клиентов.
Amazon Macie
Amazon Macie – это сервис безопасности, который использует машинное обучение для автоматического обнаружения, классификации и защиты конфиденциальных данных в AWS. Amazon Macie предоставляет информационные панели и предупреждения, которые позволяют увидеть, как осуществляется доступ к данным и как они перемещаются. Это дает возможность принимать меры по предотвращению несанкционированного доступа или утечек данных.
Начать работу с машинным обучением на AWS
