Cosa sono i modelli autoregressivi?
I modelli autoregressivi sono una classe di modelli di machine learning (ML) che prevedono automaticamente il componente successivo di una sequenza prendendo misurazioni dagli input precedenti nella sequenza. L'autoregressione è una tecnica statistica utilizzata nell'analisi delle serie temporali che presuppone che il valore corrente di una serie temporale sia una funzione dei suoi valori passati. I modelli autoregressivi utilizzano tecniche matematiche simili per determinare la correlazione probabilistica tra gli elementi di una sequenza. Quindi, utilizzano le conoscenze così derivate per indovinare l'elemento successivo in una sequenza sconosciuta. Ad esempio, durante l'addestramento, un modello autoregressivo elabora diverse frasi in lingua italiana e identifica che la parola "sono" segue sempre la parola "ci". Poi, genera una nuova sequenza con "ci sono" nello stesso segmento.
Come vengono utilizzati i modelli autoregressivi nell'IA generativa?
L'intelligenza artificiale (IA) generativa è una tecnologia avanzata di data science in grado di creare contenuti nuovi e unici imparando da enormi dati di addestramento. Le sezioni seguenti descrivono come la modellazione autoregressiva abilita le applicazioni di IA generativa.
Elaborazione del linguaggio naturale
La modellazione autoregressiva è una componente importante dei modelli linguistici di grandi dimensioni (LLM). Questi sono alimentati dal trasformatore generativo preaddestrato (GPT), una rete neurale profonda derivata dall'architettura del trasformatore. Questo è costituito da un encoder-decoder, che consente rispettivamente la comprensione e la generazione del linguaggio naturale. Il GPT utilizza solo il decoder per la modellazione linguistica autoregressiva. Ciò gli consente di comprendere i linguaggi naturali e di rispondere in modi comprensibili per gli esseri umani. Un modello linguistico di grandi dimensioni basato su GPT prevede la parola successiva considerando la distribuzione di probabilità del corpus di testo su cui viene addestrato.
Scopri di più sull'elaborazione del linguaggio naturale (NLP)
Sintesi dell'immagine
L'autoregressione consente ai modelli di deep learning di generare immagini analizzando informazioni limitate. Le reti neurali di elaborazione delle immagini come PixelRNN e PixelCNN utilizzano la modellazione autoregressiva per prevedere i dati visivi esaminando le informazioni sui pixel esistenti. È possibile utilizzare tecniche autoregressive per rendere più nitide, ridimensionare e ricostruire le immagini mantenendo la qualità.
Previsione delle serie temporali
I modelli autoregressivi sono utili per prevedere la probabilità di eventi di serie temporali. Ad esempio, i modelli di deep learning utilizzano tecniche autoregressive per prevedere i prezzi delle azioni, le condizioni meteorologiche e del traffico in base a valori storici.
Aumento dei dati
Gli ingegneri di ML addestrano i modelli di IA con set di dati curati per migliorarne le prestazioni. In alcuni casi, i dati non sono sufficienti per addestrare adeguatamente il modello. Gli ingegneri utilizzano quindi modelli autoregressivi per generare dati di addestramento nuovi e realistici con il deep learning. I dati generati vengono utilizzati per aumentare i set di dati di addestramento limitati esistenti.
Come funziona la modellazione autoregressiva?
Un modello autoregressivo utilizza una variazione dell'analisi di regressione lineare per prevedere la sequenza successiva da un determinato intervallo di variabili. Nell'analisi di regressione, il modello statistico è dotato di diverse variabili indipendenti, che utilizza per prevedere il valore di una variabile dipendente.
Regressione lineare
Per comprendere la regressione lineare basta immaginare di disegnare una linea retta che rappresenta al meglio i valori medi distribuiti su un grafico bidimensionale. Da questa linea retta, il modello genera un nuovo punto dati corrispondente alla distribuzione condizionale dei valori storici.
Considerando la forma più semplice dell'equazione del grafico a linee tra y (variabile dipendente) e x (variabile indipendente), y=c*x+m, dove c ed m sono costanti per tutti i possibili valori di x e y. Prendiamo, ad esempio, il seguente set di dati di input per (x,y):(1,5), (2,8) e (3,11). Per identificare il metodo di regressione lineare, è necessario utilizzare la seguente procedura:
- Tracciare una linea retta e misurare la correlazione tra 1 e 5.
- Modificare la direzione della linea retta per i nuovi valori (2,8) e (3,11) finché tutti i valori non si adattano.
- Identificare l'equazione di regressione lineare come y=3*x+2.
- Estrapolare o prevedere che y è 14 quando x è 4.
Autoregressione
I modelli autoregressivi applicano la regressione lineare con variabili ritardate del suo output prese dai passaggi precedenti. A differenza della regressione lineare, questo modello non utilizza altre variabili indipendenti ad eccezione dei risultati precedentemente previsti. Consideriamo la seguente formula.
Quando espresso in termini probabilistici, un modello autoregressivo distribuisce variabili indipendenti su n passaggi possibili, supponendo che le variabili precedenti influenzino condizionatamente l'esito di quella successiva.
Possiamo anche esprimere la modellazione autoregressiva con la seguente equazione.
Qui, y è l'esito della previsione di più ordini di risultati precedenti moltiplicati per i rispettivi coefficienti ϕ. Il coefficiente rappresenta pesi o parametri che influenzano l'importanza del predittore per il nuovo risultato. La formula considera anche il rumore casuale che può influire sulla previsione, indicando che il modello non è ideale e che sono possibili ulteriori miglioramenti.
Ritardo
I data scientist aggiungono altri valori ritardati per migliorare la precisione della modellazione autoregressiva. aumentando il valore di t, che indica il numero di passaggi nelle serie temporali di dati. Un numero maggiore di passaggi consente al modello di acquisire più previsioni passate come input. Ad esempio, è possibile espandere un modello autoregressivo per includere la temperatura prevista da 7 giorni agli ultimi 14 giorni per ottenere un risultato più accurato. Detto questo, l'aumento dell'ordine ritardato di un modello autoregressivo non sempre comporta una maggiore precisione. Se il coefficiente è vicino allo zero, il particolare predittore ha poca influenza sul risultato del modello. Inoltre, l'espansione indefinita della sequenza porta a un modello più complesso la cui esecuzione richiede più risorse di calcolo.
Cos'è l'autocorrelazione?
L'autocorrelazione è un metodo statistico che valuta la forza dell'influenza delle variabili ritardate sull'output di un modello autoregressivo. I data scientist utilizzano l'autocorrelazione per descrivere la relazione tra l'output e gli input ritardati di un modello. Maggiore è la correlazione, maggiore è la precisione di previsione del modello. Di seguito sono riportate alcune considerazioni sull'autocorrelazione:
- Una correlazione positiva significa che l'output segue le tendenze tracciate nei valori precedenti. Ad esempio, il modello prevede che il prezzo delle azioni aumenterà oggi perché è aumentato negli ultimi giorni.
- Una correlazione negativa significa che la variabile di output si dirige in direzione opposta ai risultati precedenti. Ad esempio, il sistema autoregressivo osserva che negli ultimi giorni pioveva, ma prevedeva una giornata di sole domani.
- Una correlazione zero potrebbe indicare la mancanza di modelli specifici tra input e output.
I data engineer utilizzano l'autocorrelazione per determinare quanti passaggi devono includere nel modello per ottimizzare le risorse di calcolo e l'accuratezza della risposta. In alcune applicazioni, il modello autoregressivo potrebbe mostrare una forte autocorrelazione quando si utilizzano variabili del passato immediato, ma un'autocorrelazione più debole per input distanti. Ad esempio, gli ingegneri hanno scoperto che un predittore meteorologico autoregressivo è meno sensibile alle previsioni di oltre 30 giorni prima. Pertanto, hanno rivisto il modello per includere solo i risultati ritardati degli ultimi 30 giorni. In questo modo, i risultati sono stati più accurati e hanno utilizzato meno risorse di calcolo.
Qual è la differenza tra l'autoregressione e altri tipi di tecniche di analisi regressiva?
Oltre all'autoregressione, sono state introdotte diverse tecniche regressive per analizzare le variabili e le loro interdipendenze. Le differenze sono descritte nelle seguenti sezioni.
Regressione lineare rispetto all'autoregressione
Entrambi i metodi di regressione presuppongono che le variabili passate condividano una relazione lineare con i valori futuri. La regressione lineare prevede un risultato basato su diverse variabili indipendenti nello stesso lasso di tempo. Nel frattempo, l'autoregressione utilizza un solo tipo di variabile, ma lo espande su diversi punti per prevedere il risultato futuro. Ad esempio, si utilizza la regressione lineare per prevedere il tempo di percorrenza in base alle condizioni meteorologiche, al volume del traffico e alla velocità di camminata. In alternativa, un modello di autoregressione utilizza i tempi di percorrenza passati per stimare l'orario di arrivo del momento.
Confronto tra regressione polinomiale e autoregressione
La regressione polinomiale è un metodo statistico che rileva la relazione tra variabili non lineari. Alcune variabili non possono essere rappresentate linearmente da una linea retta e richiedono termini polinomiali aggiuntivi per riflettere meglio le loro relazioni. Ad esempio, gli ingegneri utilizzano la regressione polinomiale per analizzare i guadagni dei dipendenti in base al loro livello di istruzione. Nel frattempo, l'autoregressione è adatta per prevedere il reddito futuro di un dipendente in base ai salari precedenti.
Confronto tra regressione logistica e autoregressione
La regressione logistica consente a un modello statistico di prevedere la probabilità di un evento specifico in termini probabilistici. Esprime il risultato della previsione in percentuale anziché in un intervallo numerico. Ad esempio, gli analisti aziendali utilizzano un modello di regressione logistica per prevedere una probabilità dell'85% di incremento dei costi di fornitura nel mese successivo. Al contrario, il modello di autoregressione prevede il probabile prezzo d'inventario in base alla previsione storica per i mesi precedenti.
Confronto tra regressione ridge e autoregressione
La regressione ridge è una variante della regressione lineare che consente di limitare il coefficiente di un modello. I data scientist possono modificare un fattore di penalità, compensando l'influenza del coefficiente nella modellazione del risultato. Il coefficiente del parametro può essere soppresso quasi a zero in un modello di regressione ridge. Questo è utile quando l'algoritmo regressivo è soggetto a overfitting, una condizione in cui il modello può generalizzare bene con i dati di addestramento, ma non con dati reali sconosciuti. Un modello di autoregressione, invece, non dispone di un meccanismo di penalità a coefficienti.
Confronto tra regressione lasso e autoregressione
La regressione lasso è simile alla regressione ridge, che può limitare il coefficiente variabile con un fattore di penalità. Tuttavia, la regressione lasso può sopprimere il coefficiente a zero, consentendo ai data scientist di semplificare i modelli complessi ignorando i parametri non critici. Nel frattempo, i modelli autoregressivi non regolano le loro previsioni con una riduzione del coefficiente.
In che modo AWS può aiutarti con i modelli autoregressivi?
Con Amazon Web Services (AWS), i team software possono creare, addestrare, implementare e dimensionare modelli autoregressivi per applicazioni di IA generativa in modo più efficiente. Con sicurezza di livello aziendale e infrastruttura gestita, AWS semplifica lo sviluppo di modelli generativi per le aziende e riduce il time-to-market. Ad esempio, puoi utilizzare:
- Amazon Bedrock, un servizio gestito che fornisce modelli di fondazione da utilizzare per personalizzare e innovare con i dati.
- Amazon SageMaker per creare, addestrare e implementare modelli di ML per qualsiasi caso d'uso.
- AWS Trainium e AWS Inferentia per addestrare, ospitare e dimensionare applicazioni di IA generativa sul cloud con potenza di calcolo ad alte prestazioni e a basso costo.
Inizia subito a utilizzare i modelli autoregressivi su AWS creando un account.
Fasi successive su AWS
Ottieni accesso istantaneo al Piano gratuito di AWS.
