Что такое машинное обучение?
Что такое машинное обучение?
Машинное обучение – это тип искусственного интеллекта, который выполняет задачи анализа данных без четких инструкций. Технология машинного обучения позволяет обрабатывать большие объемы исторических данных, выявлять закономерности и прогнозировать новые взаимосвязи между ранее неизвестными данными. Она позволяет выполнять задачи классификации и прогнозирования для документов, изображений, чисел и других типов данных.
Например, финансовая организация может обучить систему машинного обучения для различения мошеннических и нормальных транзакций. Такая система выявляет закономерности в известных данных, чтобы на их основе угадывать или предсказывать, является ли новая транзакция допустимой.
Что представляет собой концепция машинного обучения на базовом уровне?
Термин «машинное обучение» обозначает отрасль искусственного интеллекта (ИИ) и компьютерных наук, посвященную использованию данных и алгоритмов для обучения и совершенствования систем искусственного интеллекта таким же способом, как обучаются люди, постепенно повышая точность работы.
Чем машинное обучение отличается от искусственного интеллекта?
Хотя термины машинное обучение и искусственный интеллект могут использоваться взаимозаменяемо, это не одно и то же. Машинное обучение – лишь одна из многих отраслей искусственного интеллекта. Любое машинное обучение – это искусственный интеллект, но не все действия на основе ИИ можно назвать машинным обучением.
Искусственный интеллект – это более общий термин для различных стратегий и методов, которые позволяют сделать машины более похожими на людей. К искусственному интеллекту относится очень многое, от Alexa и других умных помощников до роботов-пылесосов и беспилотных автомобилей.
Модели машинного обучения, наоборот, выполняют узкие и конкретные задачи по анализу данных, такие как классификация документов, маркировка изображений или прогнозирование графика технического обслуживания для заводского оборудования. Технология машинного обучения в первую очередь основана на математике и статистике, в то время как другие типы ИИ являются более сложными.
Узнайте больше о разнице между машинным обучением и искусственном интеллектом
В чем разница между машинным и глубоким обучением?
Глубокое обучение – это один из методов машинного обучения, в котором искусственные нейронные сети используются для имитации работы человеческого мозга. Это передовая техника для решения таких сложных задач, как распознавание изображений и речи. Глубокое обучение стало основой современных достижений в области генеративного искусственного интеллекта.
Как работает машинное обучение?
Центральной идеей машинного обучения является существующая математическая связь между любой комбинацией входных и выходных данных. Модель машинного обучения не знает заранее этой взаимосвязи, но может ее угадать, если получит достаточное количество примеров входных и выходных данных в наборе. Это означает, что каждый алгоритм машинного обучения строится вокруг модифицируемой математической функции. Описание основополагающего принципа см. ниже.
- Мы «обучаем» алгоритм, давая ему следующие комбинации ввода-вывода [input / output (i,o)]: (2,10), (5,19) и (9,31).
- Алгоритм вычисляет соотношение между входом и выходом следующим образом: o = 3 × i + 4.
- Затем мы задаем ввод 7 и просим предсказать результат. Алгоритм может автоматически определить выход как 25.
Это лишь базовый принцип, но любое машинное обучение основано на том, что вычислительные системы способны математически связать все точки данных любой сложности, имея достаточный объем данных и достаточную мощность для обработки этих данных. Следовательно, точность выходных данных прямо пропорциональна величине входных данных. Ниже перечислены этапы машинного обучения.
Предварительная обработка данных
Необработанные данные очищаются и подготавливаются для обучения модели машинного обучения. Сюда входят такие задачи, как обработка недостающих значений, нормализация данных по единой шкале масштабирования или кодирование текстовых данных в числовые форматы. Также можно дополнять или изменять данные так, чтобы улучшить поведение модели в определенных примерах использования. Предварительная обработка гарантирует, что переданные в модель данные будут актуальны и правильно структурированы.
Обучение модели
Предварительно обработанные данные применяются для обучения алгоритма машинного обучения. Этот алгоритм итеративно пытается обнаружить математическую корреляцию между входными данными и ожидаемым результатом из набора обучающих данных. Модель изучает закономерности и взаимосвязи в данных, сохраняя накопленные знания в формате параметров модели. Параметры постоянно корректируются так, чтобы свести к минимуму разницу между прогнозами и фактическими результатами, которые предоставлены в составе обучающих данных.
Оценка модели
Цель состоит в том, чтобы обобщить модель для обработки данных, не входящих в обучающий набор данных. Для проверки достижения цели используется специальный «проверочный» набор данных. Выходные данные модели оцениваются по нескольким метрикам и эталонам. Для примера давайте рассмотрим модель, которая обучена распознавать изображения фруктов (яблоки и бананы), которые лежат в корзинах. На этапе оценки мы проверяем, удается ли правильно идентифицировать те же фрукты на изображениях, где они лежат на столе или в чьей-то руке.
Оптимизация
Оптимизация включает в себя доработку модели для повышения ее эффективности. В зависимости от типа используемой модели специалисты по обработке данных могут изменять процессы обучения или выполнять конструирование признаков, чтобы на основе уже существующих данных создавать новые входные функции. Цель состоит в том, чтобы повысить точность, эффективность и способность модели хорошо обобщать новые данные.
Каковы преимущества машинного обучения?
Данные – это важнейшая основа для принятия бизнес-решений. Современные организации получают данные из тысяч источников, включая интеллектуальные датчики, порталы клиентов, социальные сети и журналы приложений. Машинное обучение автоматизирует и оптимизирует процессы сбора, классификации и анализа данных. Это позволяет компаниям быстрее развиваться, открывать новые источники дохода и решать сложные проблемы.
Машинное обучение предлагает следующие преимущества:
Больше возможностей для принятия решений
Системы машинного обучения умеют быстро и точно обрабатывать и анализировать данные в большом объеме. Они могут в режиме реального времени выявлять неожиданные закономерности в динамических и сложных данных. Организации могут принимать решения на основе данных прямо во время выполнения задач и более эффективно реагировать на меняющиеся условия. Они могут уверенно оптимизировать операции и снизить риски.
Автоматизация рутинных задач
Алгоритмы машинного обучения могут фильтровать, сортировать и классифицировать данные без вмешательства человека. Они умеют резюмировать отчеты, сканировать документы, расшифровывать аудиозаписи и присваивать содержимому теги – все эти задачи требуют от людей много сил и времени. Автоматизация рутинных и повторяющихся задач позволяет значительно повысить производительность и снизить затраты. Кроме того, повышаются точность и эффективность.
Улучшение взаимодействия с клиентами
Машинное обучение преобразует взаимодействие с клиентами, позволяя добавить персонализацию. Например, розничные торговцы могут рекомендовать покупателям продукты на основе истории покупок, просмотров и поисковых запросов. Сервисы видеоконтента в индустрии развлечений подбирают рекомендации по просмотру. Индивидуальный подход помогает удерживать клиентов и повышать лояльность к бренду.
Активное управление ресурсами
Организации используют машинное обучение для очень точного прогнозирования тенденций и поведения. Например, прогнозная аналитика позволяет предвидеть повышение спроса и оптимизировать уровни запасов для снижения накладных расходов. Прогнозная аналитика крайне важна для планирования и распределения ресурсов, позволяя организациям действовать с упреждением, а не просто реагировать на спрос.
Непрерывное улучшение
Отличительным преимуществом машинного обучения является способность совершенствоваться по мере увеличения объема обработанных данных. Системы машинного обучения адаптируются к новым данным и учатся на их основе. Они корректируют прогнозы и повышают эффективность, чтобы сохранять практическую применимость и актуальность результатов с течением времени.
Каковы лучшие примеры использования машинного обучения?
Ключевые области использования машинного обучения см. ниже.
Производство
Машинное обучение может поддерживать техническое обслуживание по текущему состоянию, контроль качества и инновационные исследования в производственном секторе. Оно также помогает компаниям улучшать логистические решения, включая активы, цепочки поставок и управление запасами. Например, производственный гигант 3M использует машинное обучение для создания инновационной наждачной бумаги. Алгоритмы машинного обучения позволяют исследователям 3M анализировать, как незначительные изменения формы, размера и ориентации улучшают абразивность и долговечность. Эти предложения влияют на производственный процесс.
Здравоохранение и медико‑биологические разработки
Распространение носимых датчиков и устройств позволяет собрать значительный объем данных о здоровье. Программы машинного обучения могут анализировать эту информацию и в режиме реального времени помогать врачам выполнять диагностику и лечение. Исследователи машинного обучения разрабатывают решения, которые обнаруживают раковые опухоли и диагностируют глазные заболевания, что значительно влияет на показатели здоровья человека. Например, компания Cambia Health Solutions использует машинное обучение для автоматизации и персонализации ухода за беременными.
Финансовые услуги
Проекты финансового машинного обучения улучшают аналитику рисков и регулирование. Технология машинного обучения помогает инвесторам выявлять новые возможности путем анализа движений фондового рынка, оценки хедж-фондов или калибровки финансовых портфелей. Кроме того, это может помочь выявить кредитных клиентов с высоким уровнем риска и смягчить признаки мошенничества. Так, компания NerdWallet, которая управляет персональными финансами, использует машинное обучение для сравнения финансовых продуктов, таких как кредитные карты, банковские услуги и кредиты.
Розничная торговля
В розничной торговле машинное обучение может использоваться для улучшения обслуживания клиентов, управления запасами, увеличения дополнительных продаж и многоканального маркетинга. Например, сервис Amazon Fulfillment (AFT) сократил затраты на инфраструктуру на 40 процентов, используя модель машинного обучения для выявления потерянных запасов. Это помогло им обеспечить гарантии Amazon по предоставлению клиентам быстрого доступа к товару и своевременной доставки, несмотря на обработку миллионов посылок ежегодно.
Мультимедиа и развлечения
Компании в индустрии развлечений обращаются к машинному обучению, чтобы лучше понимать целевую аудиторию и предоставлять иммерсивный персонализированный контент по запросу. Алгоритмы машинного обучения используются для разработки трейлеров и другой рекламы, предоставления потребителям персонализированных рекомендаций по контенту и даже оптимизации производства.
Например, компания Disney использует машинное обучение для архивирования своей медиатеки. Инструменты машинного обучения автоматически маркируют, описывают и сортируют медиаконтент, позволяя писателям и аниматорам Disney быстро искать персонажей Disney и знакомиться с ними.
Машинное зрение
Технология компьютерного зрения автоматически распознает, точно и эффективно описывает предоставленные изображения. Сегодня компьютерные системы могут использовать множество изображений и видеозаписей со смартфонов, дорожных камер, систем безопасности и других устройств. Приложения машинного зрения используют машинное обучение для точной обработки таких данных, чтобы идентифицировать объекты, распознавать лица, выполнять классификацию, предлагать рекомендации, обеспечивать мониторинг и обнаружение.
Например, компания CampSite является ведущей программной платформой для организации отдыха в летних лагерях. В этих лагерях ежедневно загружаются тысячи фотографий, которые позволяют родителям следить за отдыхом своих детей. Поиск фотографий, на которых есть их ребенок, отнимает у родителей много сил и времени. Теперь CampSite применила машинное обучение для автоматической идентификации изображений, что позволило уведомлять родителей о появлении новых фотографий с их ребенком.
Какие типы алгоритмов машинного обучения существуют?
Алгоритмы машинного обучения можно разделить на четыре стиля обучения в зависимости от ожидаемого результата и типа входных данных.
Машинное обучение под наблюдением
Специалисты по работе с данными предоставляют алгоритмам помеченные и определенные обучающие данные для оценки корреляций. Демонстрационные данные определяют как входные данные, так и выходные данные алгоритма. Маркировка данных – это категоризация входных данных в соответствии с определенными выходными значениями. Например, миллионы изображений яблок и бананов должны быть помечены словами «яблоко» или «банан». Это позволит приложениям машинного обучения научиться определять название фрукта по полученному изображению.
Сильные стороны машинного обучения под наблюдением – простота и легкость структуры. Такая система полезна при прогнозировании возможного ограниченного набора результатов, разделении данных на категории или объединении результатов двух других алгоритмов машинного обучения. Однако маркировка миллионов немаркированных наборов данных является сложной задачей.
Машинное обучение без наблюдения
Алгоритмы обучения без наблюдения обучаются на неразмеченных данных. Такие алгоритмы просматривают новые данные, пытаясь установить значимые связи между входными и заранее определенными выходными данными. Они могут выявлять закономерности и классифицировать данные. Например, алгоритмы без учителя могут группировать новостные статьи с разных новостных веб-сайтов в общие категории, такие как спорт, криминал и т. д. Они могут использовать обработку естественного языка для понимания смысла и эмоций в статье. В розничной торговле обучение без наблюдения может выявлять закономерности в покупках клиентов и возвращать результаты анализа данных. Например, покупатель сливочного масла с высокой вероятностью купит еще и хлеб.
Обучение без наблюдения полезно для распознавания образов, обнаружения аномалий и автоматического группирования данных по категориям. Поскольку не требуется маркировать обучающие данные, настройка выполняется очень просто. Также эти алгоритмы позволяют очищать и обрабатывать данные для автоматического создания модели. Ограничения этого метода заключаются в том, что он не может возвращать точные прогнозы и не может самостоятельно выделить из данных конкретные результаты.
Обучение с частичным наблюдением
Как следует из названия, этот метод сочетает в себе обучение с учителем и без него. Этот метод основан на использовании небольшого количества размеченных данных и большого количества неразмеченных данных для обучения систем. Сначала применяются данные с метками для обучения алгоритма машинного обучения. После этого частично обученный алгоритм присваивает метки данным, которые их не имели. Этот процесс называется псевдомаркировкой. Затем модель переобучается на результирующем наборе данных без явного программирования.
Преимущество этого метода заключается в том, что он не требует больших объемов данных с метками. Это удобно при работе с такими данными, как длинные документы, чтение и маркировка которых отнимает слишком много времени у человека.
Обучение с подкреплением
Обучение с подкреплением – это метод, при котором различные этапы, которые должен пройти алгоритм, привязаны к вознаграждению. При использовании этого метода модель должна накопить как можно больше баллов и в конечном итоге достичь поставленной цели. С практической точки зрения обучение с подкреплением в последнее десятилетие связано в первую очередь с видеоиграми. Передовые алгоритмы обучения с подкреплением добились впечатляющих результатов в классических и современных играх, часто значительно превосходя живых игроков.
Проблема в обучении с подкреплением заключается в том, что в реальном мире среда может меняться часто, очень сильно и почти без предупреждения. Это означает, что эффективность алгоритма на практике может оказаться низкой. Предвзятость разработчиков также может повлиять на результаты. Поскольку специалист по работе с данными разрабатывает награды, они могут влиять на результаты.
Глубокое обучение
Глубокое обучение – это метод машинного обучения, который моделируется на основе человеческого мозга. Алгоритмы глубокого обучения анализируют данные с логической структурой, аналогичной той, которую используют люди. Они используют для обработки информации несколько слоев на основе искусственных нейронных сетей. Искусственная нейронная сеть (ANN) состоит из программных узлов (искусственных нейронов), которые совместно обрабатывают входные данные. Данные передаются от входного слоя нейронов через несколько «глубоких» скрытых слоев нейронной сети, прежде чем попасть на выходной слой. Дополнительные скрытые слои поддерживают обучение, которое намного эффективнее, чем стандартные модели машинного обучения.
Являются ли модели машинного обучения детерминированными?
Если выход системы предсказуем, то говорят, что она детерминирована. Большинство программных приложений предсказуемо реагируют на действия пользователя, поэтому можно сказать: что «если пользователь делает то-то, он получает то-то». Однако алгоритмы машинного обучения учатся на основе наблюдения и опыта. Поэтому они носят вероятностный характер. Утверждение теперь меняется на следующее: «если пользователь делает это, есть вероятность X %, что произойдет это».
В машинном обучении детерминизм – это стратегия, используемая при применении методов обучения, описанных выше. Любой из методов обучения (с учителем, без учителя и т. д.) можно сделать детерминированным в зависимости от желаемых бизнес-результатов. Вопрос исследования, поиск данных, структура и решения по хранению определяют, будет ли принята детерминированная или недетерминированная стратегия.
Детерминированный и вероятностный подходы
Детерминированный подход фокусируется на точности и объеме собранных данных, поэтому эффективность важнее неопределенности. С другой стороны, недетерминированный (или вероятностный) процесс предназначен для управления фактором случайности. В алгоритмы машинного обучения встроены специальные инструменты, которые помогают количественно определять, идентифицировать и измерять неопределенность во время обучения и наблюдения.
Как внедрить машинное обучение в организации?
Начиная работу с машинным обучением, прежде всего нужно реализовать жизненный цикл машинного обучения. Он состоит из следующих этапов.
Бизнес-цель
При оценке возможностей применить машинное обучение организация должна первым делом определить, какие проблемы она хочет решить с его помощью. Определите ценность машинного обучения для бизнеса. Есть ли возможность количественно определить ценность для бизнеса, используя конкретные критерии успеха для поставленных бизнес-целей? Подход на основе целей помогает обосновать расходы и убедить ответственных за принятие решений.
Описание проблемы
Теперь нужно описать бизнес-проблему в терминах и категориях машинного обучения. Определите, что вы можете наблюдать и что предлагаете прогнозировать. Ключевым шагом на этом этапе является определение прогнозируемых параметров и способов оптимизации по производительности и ошибкам.
Обработка данных
Обработка данных преобразует данные в удобный формат с помощью алгоритмов машинного обучения. Сюда входят идентификация, сбор и предварительная обработка данных, а также конструирование признаков. На этом этапе вы создаете, преобразовываете, извлекаете и выбираете из своих данных переменные для машинного обучения.
Разработка и развертывание модели
Это основной процесс, который включает обучение, настройку и оценку модели, как описано в предыдущем разделе. Сюда входит создание MLOps. Операции машинного обучения (MLOps) — это набор практик, автоматизирующих и упрощающих рабочие процессы и развертывание машинного обучения (ML). Они связывают разработку модели машинного обучения с развертыванием и эксплуатацией. Например, вы можете создать конвейер CI/CD, который автоматизирует сборку, обучение и выпуск модели в промежуточной и в производственной средах.
Мониторинг
Система мониторинга моделей обеспечивает сохранение требуемого уровня эффективности модели, выполняя раннее обнаружение и исправление неточностей. Сюда входит сбор отзывов пользователей, на основе которых выполняется обслуживание и улучшение модели, чтобы она оставалась актуальной с течением времени.
Какие сложности возникают при внедрении машинного обучения?
Ниже перечислены трудности, связанные с внедрением машинного обучения.
Качество данных
Эффективность модели машинного обучения зависит от качества данных, используемых для ее обучения. Такие проблемы, как отсутствующие значения, противоречивые значения данных и шум, могут значительно снижать точность модели. Кроме того, недостаточный размер набора данных может помешать эффективному обучению модели. Требуется постоянно поддерживать целостность данных и увеличивать масштаб сбора данных без ущерба для качества.
Переоснащение и недооснащение
Переоснащением называется ситуация, в которой модель машинного обучения слишком подробно изучает малозначительные детали и шум в обучающих данных, что в итоге снижает эффективность модели при ее применении к новым данным. Такая модель отражает закономерности, которые не распространяются на другие наборы данных. С другой стороны, недооснащение возникает, когда модели не удается изучить базовую структуру данных, что приводит к снижению эффективности как на обучающих, так и на тестовых данных. Критически важной задачей является нахождение компромисса между сложностью модели и ее способности к обобщению.
Предвзятость
Во многих реальных приложениях данные могут быть недостаточно сбалансированными, то есть некоторые классы встречаются в них значительно чаще, чем другие. Такой дисбаланс может повлиять на процесс обучения, и тогда модель будет хорошо справляться только с хорошо представленными классами, существенно теряя точность для слабо представленных классов. Например, если в данных за прошлые периоды отражен приоритет определенной демографической группы, алгоритмы машинного обучения в приложениях по управлению персоналом могут сохранить этот приоритет при принятии решений в будущем. Такие методы, как повторная выборка, изменение оценочных метрик и алгоритмы обнаружения аномалий, позволяют частично устранить эту проблему.
Объяснимость модели
По мере усложнения моделей машинного обучения, особенно моделей глубокого обучения, принимаемые ими решения становится все сложнее объяснить. Важной задачей является разработка новых методов, позволяющих сделать модели более понятными без ущерба для эффективности. Этот аспект влияет на применимость, надежность и этическую оценку развертывания систем машинного обучения.
Масштабируемость
Модели машинного обучения, особенно основанные на больших наборах данных или сложных алгоритмах, как, например, глубокое обучение, требуют значительных вычислительных ресурсов. Обучение таких моделей может занять много времени и повлечь значительные расходы. Оптимизация алгоритмов, позволяющая снизить требования к вычислительным ресурсам, повышает трудности при разработке алгоритмов. Сервисы в облаке AWS позволяют экономично организовать внедрение в большом масштабе.
Что представляет собой изучение машинного обучения для новичков?
Машинное обучение требует прочного понимания математики, статистики, программирования и технологий обработки данных. Желающим развиваться в отрасли машинного обучения следует задуматься о степени магистра в области искусственного интеллекта или анализа данных. Эти программы обычно включают такие темы, как нейронные сети, обработка естественного языка и углубленное машинное зрение.
Однако традиционное образование – не единственный доступный путь. Вы можете выбрать онлайн-курсы и учиться в удобном для себя темпе, чтобы овладеть определенными навыками. Для изучения машинного обучения на AWS предлагаются сертификации экспертов AWS по следующим темам:
Как AWS может содействовать машинному обучению?
AWS дает каждому разработчику, специалисту по работе с данными и руководителю бизнеса доступ к машинному обучению. Сервисы машинного обучения AWS предоставляют высокопроизводительную, экономичную и масштабируемую инфраструктуру, отвечающую потребностям бизнеса.
- Работа только началась? Изучите машинное обучение с помощью наших практических образовательных устройств, таких как AWS DeepRacer и AWS DeepComposer.
- Архив данных уже существует? Используйте Amazon SageMaker Ground Truth для встроенных рабочих процессов маркировки данных, поддерживающих видео, изображения и текст.
- Системы машинного обучения уже имеются? Используйте Amazon SageMaker Clarify для выявления предвзятости и Обучение моделей Amazon SageMaker для мониторинга и оптимизации производительности.
- Хотите внедрить глубокое обучение? Используйте Обучение моделей Amazon SageMaker для автоматического обучения больших моделей глубокого обучения.
Начните работу с машинным обучением на AWS, создав бесплатный аккаунт AWS уже сегодня.