Was sind autoregressive Modelle?
Autoregressive Modelle sind eine Klasse von Modellen für Machine Learning (ML), die automatisch die nächste Komponente in einer Sequenz vorhersagen, indem sie Messungen anhand früherer Eingaben in der Sequenz vornehmen. Autoregression ist ein statistisches Verfahren, das in der Zeitreihenanalyse verwendet wird und bei dem davon ausgegangen wird, dass der aktuelle Wert einer Zeitreihe eine Funktion ihrer vergangenen Werte ist. Autoregressive Modelle verwenden ähnliche mathematische Techniken, um die probabilistische Korrelation zwischen Elementen in einer Sequenz zu bestimmen. Anschließend verwenden sie das gewonnene Wissen, um das nächste Element in einer unbekannten Reihenfolge zu ermitteln. Während des Trainings verarbeitet ein autoregressives Modell beispielsweise mehrere Sätze in englischer Sprache und stellt fest, dass das Wort „is“ immer auf das Wort „there“ folgt. Es generiert nun eine neue Sequenz, in der „is there“ zusammen steht.
Wie werden autoregressive Modelle in der generativen KI eingesetzt?
Generative künstliche Intelligenz (generative KI) ist eine fortschrittliche datenwissenschaftliche Technologie, mit der neue und einzigartige Inhalte erstellt werden können, indem sie aus riesigen Trainingsdaten lernt. In den folgenden Abschnitten wird beschrieben, wie autoregressive Modellierung generative KI-Anwendungen ermöglicht.
Natürliche Sprachverarbeitung (NLP)
Autoregressive Modellierung ist ein wichtiger Bestandteil großer Sprachmodelle (LLMs). LLMs werden vom generativen vortrainierten Transformator (GPT) angetrieben, einem tiefen neuronalen Netzwerk, das von der Transformatorarchitektur abgeleitet ist. Der Transformator besteht aus einem Encoder-Decoder, der das Verstehen natürlicher Sprache bzw. die Generierung natürlicher Sprache ermöglicht. Das GPT verwendet nur den Decoder für die autoregressive Sprachmodellierung. Dies ermöglicht es GPT, natürliche Sprachen zu verstehen und so zu reagieren, wie es Menschen verstehen. Ein GPT-gestütztes großes Sprachmodell sagt das nächste Wort voraus, indem es die Wahrscheinlichkeitsverteilung des Textkorpus berücksichtigt, auf dem es trainiert wird.
Lesen Sie mehr über natürliche Sprachverarbeitung (NLP)
Bildsynthese
Autoregression ermöglicht Deep-Learning-Modellen die Generierung von Bildern durch die Analyse begrenzter Informationen. Neuronale Bildverarbeitungsnetzwerke wie PixelRNN und PixelCNN verwenden autoregressive Modellierung, um visuelle Daten vorherzusagen, indem sie vorhandene Pixelinformationen untersuchen. Mit autoregressiven Techniken können Sie Bilder schärfen, hochskalieren und rekonstruieren und dabei die Qualität beibehalten.
Zeitreihenprognose
Autoregressive Modelle sind hilfreich bei der Vorhersage der Wahrscheinlichkeit von Zeitreihenereignissen. Deep-Learning-Modelle verwenden beispielsweise autoregressive Techniken zur Prognose von Aktienkursen, Wetter und Verkehrsbedingungen auf der Grundlage historischer Werte.
Datenerweiterung
ML-Techniker trainieren KI-Modelle mit kuratierten Datensätzen, um die Leistung zu verbessern. In einigen Fällen liegen nicht genügend Daten vor, um das Modell angemessen zu trainieren. Techniker verwenden autoregressive Modelle, um neue und realistische Deep-Learning-Trainingsdaten zu generieren. Sie verwenden die generierten Daten, um bestehende begrenzte Trainingsdatensätze zu erweitern.
Wie funktioniert autoregressive Modellierung?
Ein autoregressives Modell verwendet eine Variante der linearen Regressionsanalyse, um die nächste Sequenz aus einem bestimmten Variablenbereich vorherzusagen. Bei der Regressionsanalyse erhält das statistische Modell mehrere unabhängige Variablen, anhand derer es den Wert einer abhängigen Variablen vorhersagt.
Lineare Regression
Sie können sich die lineare Regression als das Zeichnen einer geraden Linie vorstellen, die die in einem zweidimensionalen Diagramm verteilten Durchschnittswerte am besten darstellt. Aus der geraden Linie generiert das Modell einen neuen Datenpunkt, der der bedingten Verteilung historischer Werte entspricht.
Betrachten Sie die einfachste Form der Liniendiagrammgleichung zwischen y (abhängige Variable) und x (unabhängige Variable); y=c*x+m, wobei c und m für alle möglichen Werte von x und y konstant sind. Also zum Beispiel, wenn der Eingabedatensatz für (x, y) (1,5), (2,8) und (3,11) war. Um die lineare Regressionsmethode zu identifizieren, würden Sie die folgenden Schritte ausführen:
- Zeichnen Sie eine gerade Linie und messen Sie die Korrelation zwischen 1 und 5.
- Ändern Sie die Richtung der geraden Linie für neue Werte (2,8) und (3,11), bis alle Werte passen.
- Identifizieren Sie die lineare Regressionsgleichung als y=3*x+2.
- Extrapolieren Sie oder sagen Sie voraus, dass y 14 ist, wenn x 4 ist.
Autoregression
Autoregressive Modelle wenden eine lineare Regression an, wobei verzögerte Variablen ihrer Ausgabe aus früheren Schritten übernommen wurden. Im Gegensatz zur linearen Regression verwendet das autoregressive Modell außer den zuvor vorhergesagten Ergebnissen keine anderen unabhängigen Variablen. Berücksichtigen Sie die folgende Formel.
Ausgedrückt in Wahrscheinlichkeitsbegriffen verteilt ein autoregressives Modell unabhängige Variablen auf n mögliche Stufen, wobei davon ausgegangen wird, dass frühere Variablen das Ergebnis des nächsten Schrittes bedingt beeinflussen.
Wir können die autoregressive Modellierung auch mit der folgenden Gleichung ausdrücken.
Hier ist y das Prognoseergebnis mehrerer Ordnungen früherer Ergebnisse multipliziert mit ihren jeweiligen Koeffizienten, ϕ. Der Koeffizient stellt Gewichte oder Parameter dar, die die Bedeutung des Prädiktors für das neue Ergebnis beeinflussen. Die Formel berücksichtigt auch zufälliges Rauschen, das die Vorhersage beeinflussen kann, was darauf hindeutet, dass das Modell nicht ideal ist und weitere Verbesserungen möglich sind.
Verzögerung
Datenwissenschaftler fügen weitere verzögerte Werte hinzu, um die Genauigkeit der autoregressiven Modellierung zu verbessern. Sie tun dies, indem sie den Wert von t erhöhen, der die Anzahl der Schritte in der Zeitreihe von Daten angibt. Eine höhere Anzahl von Schritten ermöglicht es dem Modell, mehr vergangene Vorhersagen als Eingabe zu erfassen. Sie können beispielsweise ein autoregressives Modell erweitern, um die vorhergesagte Temperatur von 7 Tagen bis zu den letzten 14 Tagen einzubeziehen, um ein genaueres Ergebnis zu erhalten. Allerdings führt eine Erhöhung der verzögerten Reihenfolge eines autoregressiven Modells nicht immer zu einer verbesserten Genauigkeit. Wenn der Koeffizient nahe Null liegt, hat der jeweilige Prädiktor wenig Einfluss auf das Ergebnis des Modells. Darüber hinaus führt die unbegrenzte Erweiterung der Sequenz zu einem komplexeren Modell, für dessen Ausführung mehr Rechenressourcen erforderlich sind.
Was ist Autokorrelation?
Autokorrelation ist eine statistische Methode, mit der bewertet wird, wie stark die Ausgabe eines autoregressiven Modells durch seine verzögerten Variablen beeinflusst wird. Datenwissenschaftler verwenden Autokorrelation, um die Beziehung zwischen der Ausgabe und den verzögerten Eingaben eines Modells zu beschreiben. Je höher die Korrelation, desto höher die Vorhersagegenauigkeit des Modells. Im Folgenden sind einige Überlegungen zur Autokorrelation aufgeführt:
- Eine positive Korrelation bedeutet, dass die Produktion den Trends folgt, die in den vorherigen Werten dargestellt wurden. Das Modell prognostiziert beispielsweise, dass der Aktienkurs heute steigen wird, da er in den letzten Tagen gestiegen ist.
- Eine negative Korrelation bedeutet, dass die Ausgangsvariable den vorherigen Ergebnissen entgegengesetzt ist. Das autoregressive System stellt beispielsweise fest, dass es in den letzten Tagen geregnet hat, prognostizierte jedoch für morgen einen sonnigen Tag.
- Eine Korrelation von Null könnte auf ein Fehlen spezifischer Muster zwischen Eingabe und Ausgabe hindeuten.
Datentechniker verwenden Autokorrelation, um zu bestimmen, wie viele Schritte sie in das Modell aufnehmen sollten, um die Rechenressourcen und die Antwortgenauigkeit zu optimieren. In einigen Anwendungen zeigt das autoregressive Modell möglicherweise eine starke Autokorrelation, wenn Variablen aus der unmittelbaren Vergangenheit verwendet werden, bei entfernten Eingaben jedoch eine schwächere Autokorrelation. Techniker haben beispielsweise herausgefunden, dass ein autoregressiver Wettervorhersager weniger empfindlich auf frühere Vorhersagen von über 30 Tagen reagiert. Deshalb überarbeiteten sie das Modell, um nur verzögerte Ergebnisse der letzten 30 Tage einzubeziehen. Dies führte zu genaueren Ergebnissen mit weniger Rechenressourcen.
Was ist der Unterschied zwischen Autoregression und anderen Arten von regressiven Analysetechniken?
Neben der Autoregression wurden mehrere regressive Techniken eingeführt, um Variablen und ihre gegenseitigen Abhängigkeiten zu analysieren. In den folgenden Abschnitten werden die Unterschiede beschrieben.
Lineare Regression im Vergleich zur Autoregression
Beide Regressionsmethoden gehen davon aus, dass vergangene Variablen eine lineare Beziehung zu zukünftigen Werten haben. Die lineare Regression sagt ein Ergebnis auf der Grundlage mehrerer unabhängiger Variablen innerhalb desselben Zeitrahmens voraus. Autoregression verwendet dagegen nur einen Variablentyp, erweitert ihn jedoch über mehrere Punkte, um das zukünftige Ergebnis vorherzusagen. Beispielsweise verwenden Sie die lineare Regression, um Ihre Pendelzeit auf der Grundlage von Wetter, Verkehrsaufkommen und Gehgeschwindigkeit vorherzusagen. Alternativ verwendet ein Autoregressionsmodell Ihre vergangenen Pendelzeiten, um die Ankunftszeit für heute abzuschätzen.
Polynomische Regression im Vergleich zur Autoregression
Die Polynomregression ist eine statistische Methode, die die Beziehung nichtlinearer Variablen erfasst. Einige Variablen können nicht linear durch eine gerade Linie dargestellt werden und erfordern zusätzliche Polynomterme, um ihre Beziehungen besser widerzuspiegeln. Beispielsweise verwenden Techniker die polynomiale Regression, um das Einkommen der Mitarbeiter auf der Grundlage ihres Bildungsniveaus zu analysieren. Autoregression eignet sich dagegen zur Vorhersage des zukünftigen Einkommens eines Mitarbeiters auf der Grundlage seiner früheren Gehälter.
Logistische Regression im Vergleich zur Autoregression
Die logistische Regression ermöglicht es einem statistischen Modell, die Wahrscheinlichkeit eines bestimmten Ereignisses im probabilistischen Term vorherzusagen. Es drückt das Prognoseergebnis in Prozent statt in einer Reihe von Zahlen aus. Unternehmensanalysten verwenden beispielsweise ein logistisches Regressionsmodell, um eine Wahrscheinlichkeit von 85 Prozent zu prognostizieren, dass die Lieferkosten im darauffolgenden Monat steigen werden. Umgekehrt prognostiziert das Autoregressionsmodell den wahrscheinlichen Inventarpreis anhand seiner historischen Prognose für die Vormonate.
Ridge-Regression im Vergleich zur Autoregression
Die Ridge-Regression ist eine Variante der linearen Regression, mit der der Koeffizient eines Modells eingeschränkt werden kann. Datenwissenschaftler können einen Straffaktor anpassen und so den Einfluss des Koeffizienten bei der Modellierung des Ergebnisses ausgleichen. Der Parameterkoeffizient kann in einem Ridge-Regressionsmodell bis nahe Null unterdrückt werden. Dies ist hilfreich, wenn der regressive Algorithmus zur Überanpassung neigt. Eine Überanpassung ist ein Zustand, bei dem sich das Modell gut mit Trainingsdaten, aber nicht mit unbekannten realen Daten verallgemeinern lässt. Ein Autoregressionsmodell hat unterdessen keinen Koeffizientenstrafmechanismus.
Lasso-Regression im Vergleich zur Autoregression
Die Lasso-Regression ähnelt der Ridge-Regression, bei der der Variablenkoeffizient mit einem Straffaktor eingeschränkt werden kann. Die Lasso-Regression kann den Koeffizienten jedoch auf Null unterdrücken. Auf diese Weise können Datenwissenschaftler komplexe Modelle vereinfachen, indem sie unkritische Parameter ignorieren. Autoregressive Modelle regulieren ihre Vorhersagen dagegen nicht anhand der Koeffizientenschrumpfung.
Wie kann AWS bei Ihren autoregressiven Modellen helfen?
Mit Amazon Web Services (AWS) können Softwareteams autoregressive Modelle für generative KI-Anwendungen effizienter erstellen, trainieren, bereitstellen und skalieren. Mit Sicherheit auf Unternehmensebene und verwalteter Infrastruktur vereinfacht AWS die generative Modellentwicklung für Unternehmen und reduziert die Markteinführungszeit. Sie können zum Beispiel Folgendes verwenden:
- Amazon Bedrock, ein verwalteter Service, der grundlegende Modelle bereitstellt, mit denen Sie Ihre eigenen Daten anpassen und mit ihnen innovieren können.
- Amazon SageMaker zum Erstellen, Trainieren und Bereitstellen von ML-Modellen für jeden Anwendungsfall.
- AWS Trainium und AWS Inferentia zum Trainieren, Hosten und Skalieren generativer KI-Anwendungen in der Cloud mit leistungsstarker, kostengünstiger Rechenleistung.
Beginnen Sie mit autoregressiven Modellen auf AWS, indem Sie noch heute ein Konto erstellen.
Nächste Schritte in AWS
Sie erhalten sofort Zugriff auf das kostenlose Kontingent von AWS.
Starten Sie mit der Entwicklung in der AWS-Managementkonsole.