Que sont les modèles autorégressifs ?
Les modèles autorégressifs sont une classe de modèles de machine learning (ML) qui prédisent automatiquement le composant suivant d’une séquence en prenant des mesures à partir des entrées précédentes de la séquence. L’autorégression est une technique statistique utilisée dans l’analyse de séries temporelles qui suppose que la valeur actuelle d’une série temporelle est fonction de ses valeurs passées. Les modèles autorégressifs utilisent des techniques mathématiques similaires pour déterminer la corrélation probabiliste entre les éléments d’une séquence. Ils utilisent ensuite les connaissances obtenues pour deviner l’élément suivant dans une séquence inconnue. Par exemple, pendant l’entraînement, un modèle autorégressif traite plusieurs phrases en anglais et identifie que le mot « is » suit toujours le mot « there ». Il génère ensuite une nouvelle séquence contenant « there is » ensemble.
Comment les modèles autorégressifs sont-ils utilisés dans l’IA générative ?
L’intelligence artificielle générative (IA générative) est une technologie avancée de science des données capable de créer du contenu nouveau et unique en apprenant à partir de données de formation massives. Les sections suivantes décrivent comment la modélisation autorégressive ouvre la voie aux applications d’IA génératives.
Traitement du langage naturel (NLP)
La modélisation autorégressive est une composante importante des grands modèles de langage (LLM). Les LLM sont alimentés par le transformateur préentraîné génératif (GPT), un réseau neuronal profond dérivé de l’architecture du transformateur. Le transformateur se compose d’un encodeur-décodeur, qui permet respectivement la compréhension du langage naturel et la génération du langage naturel. Le GPT n’utilise que le décodeur pour la modélisation autorégressive du langage. Cela permet au GPT de comprendre les langages naturels et de réagir de manière compréhensible pour l’humain. Un grand modèle de langage alimenté par un GPT prédit le mot suivant en tenant compte de la distribution de probabilité du corpus de texte sur lequel il est formé.
En savoir plus sur le traitement du langage naturel (NLP)
Synthèse d’images
L’autorégression permet aux modèles de deep learning de générer des images en analysant des informations limitées. Les réseaux neuronaux de traitement d’images tels que PixelRNN et PixelCNN utilisent la modélisation autorégressive pour prédire les données visuelles en examinant les informations existantes sur les pixels. Vous pouvez utiliser des techniques autorégressives pour améliorer la netteté, améliorer et reconstruire les images tout en préservant leur qualité.
Prédiction de séries temporelles
Les modèles autorégressifs sont utiles pour prédire la probabilité d’événements de séries temporelles. Par exemple, les modèles de deep learning utilisent des techniques autorégressives pour prévoir les cours des actions, les conditions météorologiques et les conditions de circulation sur la base de valeurs historiques.
Augmentation des données
Les ingénieurs ML entraînent des modèles d’IA à l’aide de jeux de données sélectionnés pour améliorer les performances. Dans certains cas, les données sont insuffisantes pour entraîner le modèle de manière adéquate. Les ingénieurs utilisent des modèles autorégressifs pour générer de nouvelles données d’entraînement de deep learning réalistes. Ils utilisent les données générées pour compléter les jeux de données d’entraînement limités existants.
Comment fonctionne la modélisation autorégressive ?
Un modèle autorégressif utilise une variation de l’analyse de régression linéaire pour prédire la séquence suivante à partir d’une plage donnée de variables. Dans l’analyse de régression, le modèle statistique est doté de plusieurs variables indépendantes, qu’il utilise pour prédire la valeur d’une variable dépendante.
Régression linéaire
Vous pouvez imaginer la régression linéaire comme le dessin d’une ligne droite qui représente le mieux les valeurs moyennes distribuées sur un graphique bidimensionnel. À partir de la ligne droite, le modèle génère un nouveau point de données correspondant à la distribution conditionnelle des valeurs historiques.
Prenons la forme la plus simple de l’équation linéaire entre y (variable dépendante) et x (variable indépendante) ; y=c*x+m, où c et m sont constants pour toutes les valeurs possibles de x et y. Ainsi, par exemple, si le jeu de données d’entrée pour (x, y) était (1,5), (2,8) et (3,11). Pour identifier la méthode de régression linéaire, vous devez procéder comme suit :
- Tracez une ligne droite et mesurez la corrélation entre 1 et 5.
- Modifiez la direction de la ligne droite pour les nouvelles valeurs (2,8) et (3,11) jusqu’à ce que toutes les valeurs correspondent.
- Identifiez l'équation de régression linéaire comme suit : y=3*x+2.
- Extrapolez ou prévoyez que y est égal à 14 lorsque x vaut 4.
Autorégression
Les modèles autorégressifs appliquent une régression linéaire avec des variables décalées de sa sortie extraites des étapes précédentes. Contrairement à la régression linéaire, le modèle autorégressif n’utilise pas d’autres variables indépendantes, à l’exception des résultats prédits précédemment. Prenez en compte la formule suivante.
Lorsqu’il est exprimé en termes probabilistes, un modèle autorégressif distribue des variables indépendantes sur n étapes possibles, en supposant que les variables précédentes influencent conditionnellement le résultat de la suivante.
Nous pouvons également exprimer une modélisation autorégressive à l’aide de l’équation ci-dessous.
Ici, y est le résultat de prédiction de plusieurs ordres de résultats précédents multipliés par leurs coefficients respectifs, φ. Le coefficient représente des poids ou des paramètres influençant l’importance du prédicteur pour le nouveau résultat. La formule prend également en compte le bruit aléatoire susceptible d’affecter la prédiction, ce qui indique que le modèle n’est pas idéal et que d’autres améliorations sont possibles.
Décalage
Les scientifiques des données ajoutent d’autres valeurs décalées pour améliorer la précision de la modélisation autorégressive. Pour ce faire, ils augmentent la valeur de t, qui indique le nombre d’étapes de la série temporelle de données. Un nombre d’étapes plus élevé permet au modèle de capturer davantage de prévisions passées en entrée. Par exemple, vous pouvez étendre un modèle autorégressif pour inclure la température prévue sur 7 jours aux 14 derniers jours afin d’obtenir un résultat plus précis. Cela dit, l’augmentation de l’ordre décalé d’un modèle autorégressif n’entraîne pas toujours une amélioration de la précision. Si le coefficient est proche de zéro, le prédicteur en question n’a que peu d’influence sur le résultat du modèle. De plus, l’extension indéfinie de la séquence entraîne un modèle plus complexe nécessitant davantage de ressources de calcul pour fonctionner.
Qu’est-ce que l’autocorrélation ?
L’autocorrélation est une méthode statistique qui évalue dans quelle mesure la sortie d’un modèle autorégressif est influencée par ses variables décalées. Les scientifiques des données utilisent l’autocorrélation pour décrire la relation entre la sortie et les entrées décalées d’un modèle. Plus la corrélation est élevée, plus la précision de prédiction du modèle est élevée. Voici quelques considérations relatives à l’autocorrélation :
- Une corrélation positive signifie que la production suit les tendances indiquées dans les valeurs précédentes. Par exemple, le modèle prévoit que le cours de l’action augmentera aujourd’hui parce qu’il a augmenté ces derniers jours.
- Une corrélation négative signifie que la variable de sortie se dirige à l’opposé des résultats précédents. Par exemple, le système autorégressif observe qu’il pleuvait ces derniers jours, mais prédit une journée ensoleillée demain.
- Une corrélation nulle peut indiquer l’absence de modèles spécifiques entre l’entrée et la sortie.
Les ingénieurs de données utilisent l’autocorrélation pour déterminer le nombre d’étapes à inclure dans le modèle afin d’optimiser les ressources informatiques et la précision des réponses. Dans certaines applications, le modèle autorégressif peut présenter une forte autocorrélation lors de l’utilisation de variables du passé immédiat, mais une autocorrélation plus faible pour des entrées distantes. Par exemple, les ingénieurs ont découvert qu’un prédicteur météorologique autorégressif est moins sensible aux prévisions passées sur plus de 30 jours. Ils ont donc révisé le modèle pour n’inclure que les résultats décalés des 30 derniers jours. Cela a permis d’obtenir des résultats plus précis en utilisant moins de ressources informatiques.
Quelle est la différence entre l’autorégression et les autres types de techniques d’analyse régressive ?
Outre l’autorégression, plusieurs techniques régressives ont été introduites pour analyser les variables et leurs interdépendances. Les sections suivantes décrivent les différences.
Régression linéaire comparée à l’autorégression
Ces deux méthodes de régression supposent que les variables passées partagent une relation linéaire avec les valeurs futures. La régression linéaire prédit un résultat sur la base de plusieurs variables indépendantes au cours de la même période. Dans le même temps, l’autorégression utilise un seul type de variable, mais l’étend sur plusieurs points pour prédire les résultats futurs. Par exemple, vous utilisez la régression linéaire pour prévoir votre temps de trajet en fonction de la météo, du volume de trafic et de la vitesse de marche. Par ailleurs, un modèle d’autorégression utilise vos temps de trajet antérieurs pour estimer l’heure d’arrivée aujourd’hui.
Régression polynomiale comparée à l’autorégression
La régression polynomiale est une méthode statistique qui permet de saisir la relation entre des variables non linéaires. Certaines variables ne peuvent pas être représentées de manière linéaire par une ligne droite et nécessitent des termes polynomiaux supplémentaires pour mieux refléter leurs relations. Par exemple, les ingénieurs utilisent la régression polynomiale pour analyser les revenus des employés en fonction de leur niveau d’éducation. Parallèlement, l’autorégression permet de prédire le revenu futur d’un employé sur la base de ses salaires antérieurs.
Régression logistique comparée à l’autorégression
La régression logistique permet à un modèle statistique de prédire la probabilité d’un événement spécifique en termes probabilistes. Elle exprime le résultat de la prédiction en pourcentage au lieu d’une plage de chiffres. Par exemple, les analystes métier utilisent un modèle de régression logistique pour prévoir une probabilité de 85 % d’augmentation des coûts d’approvisionnement le mois suivant. À l’inverse, le modèle d’autorégression prédit le prix probable des stocks en fonction de ses prévisions historiques pour les mois précédents.
Comparaison entre la régression Ridge et l’autorégression
La régression Ridge est une variante de la régression linéaire qui permet de restreindre le coefficient d’un modèle. Les scientifiques des données peuvent ajuster un facteur de pénalité afin de compenser l’influence du coefficient sur la modélisation du résultat. Le coefficient du paramètre peut être réduit à un niveau proche de zéro dans un modèle de régression Ridge. Ceci est utile lorsque l’algorithme régressif est sujet à un surajustement. Le surajustement est un état dans lequel le modèle peut se généraliser correctement avec des données d’entraînement, mais pas avec des données réelles inconnues. Un modèle d’autorégression, quant à lui, ne comporte pas de mécanisme de pénalité par coefficient.
Régression Lasso comparée à l’autorégression
La régression Lasso est similaire à la régression Ridge, qui peut restreindre le coefficient variable avec un facteur de pénalité. Toutefois, la régression Lasso peut ramener le coefficient à zéro. Cela permet aux scientifiques des données de simplifier les modèles complexes en ignorant les paramètres non critiques. Par ailleurs, les modèles autorégressifs ne régulent pas leurs prédictions avec un rétrécissement du coefficient.
Comment AWS peut-il vous aider avec vos modèles autorégressifs ?
Avec Amazon Web Services (AWS), les équipes logicielles peuvent créer, former, déployer et mettre à l’échelle des modèles autorégressifs pour des applications d’IA génératives de manière plus efficace. Grâce à une sécurité de niveau professionnel et à une infrastructure gérée, AWS simplifie le développement de modèles génératifs pour les entreprises et réduit les délais de commercialisation. Par exemple, vous pouvez utiliser les solutions ci-dessous :
- Amazon Bedrock est un service géré qui fournit des modèles de fondation que vous pouvez utiliser pour personnaliser et innover avec vos propres données.
- Amazon SageMaker permet de créer, d’entraîner et de déployer des modèles ML pour tous les cas d’utilisation.
- AWS Trainium et AWS Inferentia pour entraîner, héberger et mettre à l’échelle des applications d’IA générative sur le cloud avec une puissance de calcul à hautes performances et à faible coût.
Commencez à utiliser les modèles autorégressifs sur AWS en créant un compte dès aujourd’hui.
Prochaines étapes sur AWS
