Что такое авторегрессионные модели?
Авторегрессионные модели – это класс моделей машинного обучения (ML), которые автоматически предсказывают следующий компонент последовательности на основе всех предыдущих компонентов этой последовательности. Авторегрессией называют метод статистических вычислений, который используется при анализе временных рядов. В этом подходе каждое текущее значение временного ряда рассматривается как функция от всех предыдущих значений. В авторегрессионных моделях такие математические методы применяются для вычисления вероятностной корреляции между элементами последовательности. На основе полученных результатов они пытаются угадать следующий элемент в неизвестной последовательности. Например, на этапе обучения авторегрессионная модель обрабатывает несколько предложений на английском языке и определяет, что слово «is» всегда встречается после слова «there». На основе этих данных она генерирует новую последовательность с фрагментом «there is».
Как используются модели авторегрессии для генеративного искусственного интеллекта?
Генеративный искусственный интеллект – это передовая технология анализа данных, способная создавать новый и уникальный контент на основе обучения по огромному объему данных. В следующих разделах описывается, как создаются приложения искусственного интеллекта на основе авторегрессионного моделирования.
Обработка естественного языка (NLP)
Авторегрессионное моделирование является важным компонентом больших языковых моделей (LLM). LLM основаны на глубокой нейронной сети GPT (generative pre-trained transformer – генеративный предварительно обученный трансформер), которая использует архитектуру трансформера. Трансформер состоит из блоков кодировки и декодировки, которые обеспечивает понимание естественного языка и генерацию естественного языка, соответственно. Сеть GPT использует только декодер для авторегрессионного моделирования языка. Это позволяет GPT понимать естественные языки и реагировать на них так, чтобы это было понятно людям. Большая языковая модель на основе GPT предсказывает следующее слово, учитывая распределение вероятностей в текстовом корпуса, по которому выполнялось обучение.
Подробнее об обработке естественного языка (NLP)
Подробнее о больших языковых моделях (LLM)
Синтез изображений
Авторегрессия позволяет моделям глубокого обучения генерировать изображения, анализируя ограниченную информацию. Нейронные сети обработки изображений, например PixelRNN и PixelCNN, используют авторегрессионное моделирование для прогнозирования визуальных данных путем анализа существующей пиксельной информации. Методы авторегрессии можно применять для повышения контрастности, увеличения разрешения и восстановления изображений без потери качества.
Прогнозирование временных рядов
Авторегрессионные модели помогают прогнозировать вероятность событий временных рядов. Например, модели глубокого обучения используют методы авторегрессии для прогнозирования цен на акции, погоды и дорожных условий на основе данных за предыдущие периоды.
Аугментация данных
Специалисты по машинному обучению создают модели искусственного интеллекта на основе тщательно подобранных наборов данных, чтобы обеспечить высокую производительность. В некоторых случаях не удается получить достаточный объем данных для хорошего обучения модели. В таких случаях авторегрессионные модели применяются для создания новых и реалистичных обучающих данных для глубокого обучения. Эти новые данные добавляются к существующим наборам обучающих данных.
Как работает авторегрессионное моделирование?
Авторегрессионная модель использует технологию анализа на основе линейной регрессии для прогнозирования следующего элемента последовательности на основе заданного диапазона переменных. При использовании регрессионного анализа в статистическую модель передается несколько независимых переменных, которые используются для прогнозирования значения зависимой переменной.
Линейная регрессия
Суть линейной регрессии можно определить как построение прямой линии, которая лучше всего соответствует среднему значению точек данных, распределенных на двухмерном графике. Вычислив эту прямую, модель генерирует новую точку данных в соответствии с условным распределением исторических значений.
Давайте рассмотрим простейшую форму уравнения прямой линии y=m*x+c, которое определяет взаимосвязь между зависимой переменной y и независимой переменной x, где c и m имеют постоянные значения для всех возможных значений x и y. Предположим, что входной набор данных в формате (x, y) содержит точки (1,5), (2,8) и (3,11). Чтобы применить метод линейной регрессии, необходимо выполнить указанные ниже шаги.
- Постройте прямую линию и измерьте корреляцию между значениями 1 и 5.
- Изменяйте направление прямой линии так, чтобы остальные пары значений (2,8) и (3,11) оказались на этой прямой.
- Определите уравнение линейной регрессии как y = 3 * x + 2.
- Методом экстраполяции можно предсказать, что при значении x=4 зависимая переменная y будет иметь значение 14.
Авторегрессия
В моделях авторегрессии применяется линейная регрессия на основе выходных значений переменных, полученных на предыдущих шагах. В отличие от обычной линейной регрессии, модель авторегрессии не использует другие независимые переменные, кроме предсказанных ранее результатов. Рассмотрим следующую формулу.
В вероятностном выражении модель авторегрессии вычисляет значения независимых переменных за n возможных шагов так, что полученные ранее переменные влияют на результат прогнозирования следующей.
Мы можем выразить авторегрессионное моделирование в виде приведенного ниже уравнения.
Здесь y обозначает результат предсказания нескольких порядков предыдущих результатов, умноженные на соответствующие коэффициенты, ϕ. Этот коэффициент обозначает веса (параметры), влияющие на важность предиктора при вычислении нового результата. Также формула оценивает случайный шум, который может влиять на прогноз, что указывает на возможность дальнейшего улучшения.
Запаздывание
Специалисты по работе с данными могут добавить больше запаздывающих значений для повышения точности авторегрессионного моделирования. Для этого нужно увеличить значение t, которое обозначает количество шагов во временном ряду данных. Чем больше указанное количество шагов, тем больше предыдущих прогнозов модель может использовать в качестве входных данных. Например, можно расширить модель авторегрессии, включив в расчеты прогнозируемую температуру за 14 последних дней вместо 7, чтобы получить более точный результат. Но учтите, что увеличение количества запаздывающих значений в модели авторегрессии не всегда повышает ее точность. Если коэффициент близок к нулю, соответствующий предиктор очень слабо влияет на результат модели. Более того, неограниченный рост размера последовательности при использовании достаточно сложной модели потребует значительного объема вычислительных ресурсов.
Что такое автокорреляция?
Автокорреляцией называют метод статистической обработки, который позволяет оценить влияние запаздывающих переменных на выходные данные авторегрессионной модели. Специалисты по обработке данных используют автокорреляцию, чтобы описывать взаимосвязи между выходными данными и запаздывающими входными данными модели. Чем выше корреляция, тем выше точность прогнозирования модели. Ниже приведены важные аспекты, которые нужно знать об автокорреляции.
- Положительная корреляция означает, что выходные данные изменяются в том же направлении, которое задано в предыдущих значениях. Например, модель предсказывает, что цена акций сегодня вырастет, если она росла в течение последних нескольких дней.
- Отрицательная корреляция означает, что выходные данные изменяются в противоположном направлении относительно предыдущих результатов. Например, система авторегрессии прогнозирует солнечный день, обнаружив, что последние несколько дней шли дожди.
- Нулевая корреляция может означать отсутствие существенной взаимозависимости между входными и выходными данными.
Инженеры по обработке данных используют автокорреляцию, чтобы определить количество шагов для передачи в модель, которое позволит оптимизировать затраты вычислительных ресурсов и точность ответов. В некоторых приложениях авторегрессионная модель может демонстрировать сильную автокорреляцию при использовании данных из ближайшего прошлого и слабую автокорреляцию для более старых значений. Предположим, что инженеры обнаружили, что авторегрессионная модель прогнозирования погоды слабо чувствительна к прогнозам, сделанным более чем 30 дней назад. В этом случае они корректируют модель так, чтобы передавать в нее запаздывающие данные только за последние 30 дней. Это позволит одновременно получить более точные результаты и снизить затраты на вычислительные ресурсы.
В чем основная разница между авторегрессией и другими типами методов регрессивного анализа?
Помимо авторегрессии, для анализа переменных и их взаимозависимостей придумано уже много регрессивных методов. В следующих разделах описаны различия между ними.
Сравнение линейной регрессии с авторегрессией
Оба эти метода регрессии предполагают, что прошлые значения переменных имеют линейную зависимость с будущими значениями. Линейная регрессия прогнозирует результат на основе нескольких независимых переменных за один и тот же период времени. Авторегрессия, в свою очередь, использует только один тип переменной, но использует для прогнозирования результата несколько ее значений в разных точках. Например, линейная регрессия выполняет прогнозирование времени в пути на основе погоды, интенсивности движения и скорости ходьбы. Авторегрессионная модель же оценивает время в пути на сегодняшний день, используя данные о поездах за прошлые периоды.
Сравнение полиномиальной регрессии с авторегрессией
Полиномиальная регрессия – это метод статистической обработки, который фиксирует взаимосвязь между нелинейными переменными. Некоторые переменные невозможно представить линейно, то есть одной прямой линией, и для их взаимосвязей требуются дополнительные полиномиальные члены. Например, инженеры используют полиномиальную регрессию для анализа зависимости доходов сотрудников от уровня образования. Авторегрессия, в свою очередь, пытается прогнозировать будущий доход сотрудника на основе информации о его заработной плате за предыдущие периоды.
Сравнение логистической регрессии с авторегрессией
Логистическая регрессия позволяет создать статистическую модель, которая прогнозирует возможность конкретного события в вероятностном выражении. Результат такого прогноза выражается в процентах, а не в виде диапазона чисел. Например, бизнес-аналитики с помощью модели логистической регрессии могут оценивать, превышает ли вероятность увеличения стоимости поставок в следующем месяце уровень 85 процентов. Авторегрессиионная модель прогнозирует наиболее вероятную цену запасов на основе исторических данных за предыдущие месяцы.
Сравнение гребневой регрессии с авторегрессией
Гребневая регрессия – это вариация линейной регрессии, которая позволяет ограничить коэффициент в модели. Специалисты по обработке и анализу данных могут корректировать штрафной коэффициент, компенсирующий влияние коэффициента модели на прогнозирование результата. В модели гребневой регрессии коэффициент параметра можно снизить почти до нуля. Это полезно, когда алгоритм регрессии склонен к переобучению. Переобучением называют состояние, в котором модель очень хорошо обобщает результаты по данным, которые использовались для обучения, но не справляется с незнакомыми реальными данными. Классическая авторегрессионная модель не использует механизм штрафных коэффициентов.
Сравнение регрессии LASSO с авторегрессией
Регрессия LASSO действует так же, как гребневая регрессии, то есть может ограничивать переменный коэффициент за счет применения штрафного коэффициента. Но в регрессии LASSO коэффициент можно снизить до нуля. Это позволяет специалистам по работе с данными упрощать сложные модели, игнорируя несущественные параметры. Классическая авторегрессионная модель не использует уменьшение коэффициентов для корректировки прогнозов.
Как AWS может помочь в создании авторегрессионных моделей?
С помощью Amazon Web Services (AWS) команды разработчиков программного обеспечения могут более эффективно создавать, обучать, развертывать и масштабировать авторегрессионные модели для приложений на основе генеративного искусственного интеллекта. Обеспечивая безопасность корпоративного уровня и предоставляя управляемую инфраструктуру, AWS упрощает разработку генеративных моделей для бизнеса и сокращает время выхода на рынок. Ниже приведены несколько примеров.
- Amazon Bedrock – это управляемый сервис, предоставляющий базовые модели, которые можно скорректировать с учетом собственных данных и применить для внедрения инноваций.
- Amazon SageMaker позволяет создавать, обучать и развертывать модели машинного обучения для любого сценария использования.
- AWS Trainium и AWS Inferentia помогают в обучении, размещении и масштабировании облачных приложений на основе генеративного искусственного интеллекта, применяя высокопроизводительные и недорогие вычислительные ресурсы.
Начните работать с моделями авторегрессии в AWS, создав аккаунт прямо сейчас.
AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
