¿Qué son los modelos autorregresivos?
Los modelos autorregresivos son una clase de modelos de machine learning (ML) que predicen automáticamente el siguiente componente de una secuencia al medir las entradas anteriores de la secuencia. La autorregresión es una técnica estadística utilizada en el análisis de series temporales que supone que el valor actual de una serie temporal es una función de sus valores anteriores. Los modelos autorregresivos utilizan técnicas matemáticas similares para determinar la correlación probabilística entre los elementos de una secuencia. Luego usan el conocimiento obtenido para adivinar el siguiente elemento de una secuencia desconocida. Por ejemplo, durante el entrenamiento, un modelo autorregresivo procesa varias oraciones en inglés e identifica que la palabra “está” siempre sigue a la palabra “ahí”. A continuación, genera una nueva secuencia que reúne la frase “ahí está”.
¿Cómo se utilizan los modelos autorregresivos en la IA generativa?
La inteligencia artificial generativa (IA generativa) es una tecnología avanzada de ciencia de datos capaz de crear contenido nuevo y único al aprender de datos de entrenamiento masivos. En las siguientes secciones se describe cómo el modelado autorregresivo habilita las aplicaciones de IA generativas.
Procesamiento de lenguaje natural (NLP)
El modelado autorregresivo es un componente importante de los modelos de lenguaje de gran tamaño (LLM). Los LLM funcionan con el generative pre-trained transformer (GPT, transformadores generativos preentrenados), una red neuronal profunda derivada de la arquitectura del transformador. El transformador consta de un codificador-decodificador que permite la comprensión del lenguaje natural y la generación del lenguaje natural, respectivamente. El GPT usa solo el decodificador para el modelado del lenguaje autorregresivo. Esto permite al GPT entender los lenguajes naturales y responder de una manera que los humanos comprenden. Un modelo de lenguaje de gran tamaño basado en GPT predice la palabra siguiente teniendo en cuenta la probabilidad de distribución del corpus de texto con el que se entrena.
Más información sobre el procesamiento de lenguaje natural (NLP)
Síntesis de imágenes
La autorregresión permite que los modelos de aprendizaje profundo generen imágenes mediante el análisis de información limitada. Las redes neuronales de procesamiento de imágenes como PixelRNN y PixelCNN utilizan modelos autorregresivos para predecir los datos visuales mediante el examen de la información de píxeles existente. Puede utilizar técnicas autorregresivas para mejorar, ampliar y reconstruir imágenes sin perder la calidad.
Predicción de series temporales
Los modelos autorregresivos son útiles para predecir la probabilidad de eventos de series temporales. Por ejemplo, los modelos de aprendizaje profundo utilizan técnicas autorregresivas para pronosticar los precios de las acciones, el clima y las condiciones del tráfico en función de valores históricos.
Aumento de datos
Los ingenieros de ML entrenan modelos de IA con conjuntos de datos seleccionados para mejorar el rendimiento. En algunos casos, no hay datos suficientes para entrenar el modelo de manera adecuada. Los ingenieros utilizan modelos autorregresivos para generar datos de entrenamiento de aprendizaje profundo nuevos y realistas. Utilizan los datos generados para aumentar los conjuntos limitados de datos de formación existentes.
¿Cómo funciona el modelado autorregresivo?
Un modelo autorregresivo utiliza una variación del análisis de regresión lineal para predecir la siguiente secuencia a partir de un rango específico de variables. En el análisis de regresión, el modelo estadístico se proporciona con varias variables independientes, que utiliza para predecir el valor de una variable dependiente.
Regresión lineal
Puede interpretar la regresión lineal como el dibujo de una línea recta que representa mejor los valores promedio distribuidos en una gráfica bidimensional. A partir de esa línea recta, el modelo genera un nuevo punto de datos correspondiente a la distribución condicional de los valores históricos.
Considere la forma más simple de la ecuación gráfica lineal entre y (variable dependiente) y x (variable independiente); y=c*x+m, donde c y m son constantes para todos los valores posibles de x e y. Así, por ejemplo, si el conjunto de datos de entrada para (x, y) fuera (1,5), (2,8) y (3,11). Para identificar el método de regresión lineal, debería seguir los siguientes pasos:
- Trazar una línea recta y medir la correlación entre 1 y 5.
- Cambiar la dirección de la línea recta de los valores nuevos (2,8) y (3,11) hasta que todos los valores se ajusten.
- Identifique la ecuación de regresión lineal como y = 3*x + 2.
- Extrapolar o predecir que y es 14 cuando x es 4.
Autorregresión
Los modelos autorregresivos aplican una regresión lineal con variables retrasadas de su salida a partir de los pasos anteriores. A diferencia de la regresión lineal, el modelo autorregresivo no usa otras variables independientes, excepto los resultados predichos previamente. Tenga en cuenta la siguiente fórmula.
Cuando se expresa en términos probabilísticos, un modelo autorregresivo distribuye las variables independientes en n pasos posibles, asumiendo que las variables anteriores influyen condicionalmente en el resultado de la siguiente.
También se puede expresar el modelado autorregresivo con la siguiente ecuación.
En este caso, y es el resultado de la predicción de varios órdenes de resultados anteriores multiplicados por sus coeficientes respectivos, ϕ. El coeficiente representa las ponderaciones o los parámetros que influyen en la importancia del predictor para el nuevo resultado. La fórmula también considera el ruido aleatorio que puede afectar a la predicción, lo que indica que el modelo no es ideal y que es posible mejorarlo aún más.
Retraso
Los científicos de datos agregan más valores retrasados para mejorar la precisión del modelado autorregresivo. Lo hacen al aumentar el valor de t, que denota la cantidad de pasos en la serie temporal de datos. Una mayor cantidad de pasos permite al modelo capturar más predicciones anteriores como entrada. Por ejemplo, puede ampliar un modelo autorregresivo para incluir la temperatura prevista de 7 días a los últimos 14 días para obtener un resultado más preciso. Dicho esto, aumentar el orden retrasado de un modelo autorregresivo no siempre se traduce en una mayor precisión. Si el coeficiente es cercano a cero, el predictor en particular tiene poca influencia en el resultado del modelo. Además, la expansión indefinida de la secuencia da como resultado un modelo más complejo que requiere más recursos informáticos para ejecutarse.
¿Qué es la autocorrelación?
La autocorrelación es un método estadístico que evalúa la intensidad con la que las variables retrasadas influyen en el resultado de un modelo autorregresivo. Los científicos de datos utilizan la autocorrelación para describir la relación entre el resultado y los datos de entradas retrasadas de un modelo. Cuanto mayor sea la correlación, mayor será la precisión de predicción del modelo. Las siguientes son algunas consideraciones sobre la autocorrelación:
- Una correlación positiva significa que el resultado sigue las tendencias trazadas en los valores anteriores. Por ejemplo, el modelo predice que el precio de las acciones aumentará hoy porque ha aumentado en los últimos días.
- Una correlación negativa significa que la variable de salida va en dirección opuesta a los resultados anteriores. Por ejemplo, el sistema autorregresivo observa que en los últimos días estuvo lloviendo, pero predijo que mañana será un día soleado.
- La correlación cero podría indicar una falta de patrones específicos entre la entrada y la salida.
Los ingenieros de datos utilizan la autocorrelación para determinar la cantidad de pasos que deben incluir en el modelo para optimizar los recursos informáticos y la precisión de la respuesta. En algunas aplicaciones, el modelo autorregresivo puede mostrar una fuerte autocorrelación cuando se utilizan variables del pasado inmediato, pero una autocorrelación más débil para entradas distanciadas. Por ejemplo, los ingenieros descubrieron que un predictor meteorológico autorregresivo es menos sensible a las predicciones pasadas de más de 30 días. Por lo tanto, revisaron el modelo para incluir solo los resultados retrasados de los últimos 30 días. Esto permitió obtener resultados más precisos con menos recursos informáticos.
¿Cuál es la diferencia entre la autorregresión y otros tipos de técnicas de análisis regresivo?
Además de la autorregresión, se han introducido varias técnicas regresivas para analizar las variables y sus interdependencias. En las siguientes secciones se describen las diferencias.
Regresión lineal comparada con autorregresión
Ambos métodos de regresión asumen que las variables anteriores comparten una relación lineal con los valores futuros. La regresión lineal predice un resultado en función de varias variables independientes dentro del mismo periodo de tiempo. Mientras tanto, la autorregresión usa un solo tipo de variable, pero lo expande en varios puntos para predecir el resultado futuro. Por ejemplo, la regresión lineal se usa para predecir el tiempo de viaje en función del clima, el volumen del tráfico y la velocidad de desplazamiento a pie. Como alternativa, un modelo de autorregresión utiliza los tiempos de viaje anteriores para estimar la hora de llegada de hoy.
La regresión polinomial comparada con la autorregresión
La regresión polinomial es un método estadístico que captura la relación de variables no lineales. Algunas variables no se pueden representar linealmente mediante una línea recta y requieren términos polinomiales adicionales para reflejar mejor sus relaciones. Por ejemplo, los ingenieros utilizan la regresión polinomial para analizar los ingresos de los empleados en función de su nivel educativo. Por otro lado, la autorregresión es adecuada para predecir los ingresos futuros de un empleado en función de sus salarios anteriores.
La regresión logística comparada con la autorregresión
La regresión logística permite que un modelo estadístico prediga la probabilidad de un evento específico en el término probabilístico. Expresa el resultado de la predicción en porcentajes, en lugar de usar un rango de números. Por ejemplo, los analistas empresariales utilizan un modelo de regresión logística para predecir una probabilidad del 85 por ciento de incremento de los costos de suministro para el mes siguiente. Por el contrario, el modelo de autorregresión predice el precio de inventario probable según su predicción histórica para los meses anteriores.
La regresión de cresta comparada con la autorregresión
La regresión de cresta es una variante de la regresión lineal que permite restringir el coeficiente de un modelo. Los científicos de datos pueden ajustar un factor de penalización. lo que compensa la influencia del coeficiente al modelar el resultado. El coeficiente del parámetro se puede suprimir a una cifra cercana a cero en un modelo de regresión de cresta. Esto es útil cuando el algoritmo regresivo muestra una tendencia al sobreajuste. El sobreajuste es una condición en la que el modelo puede generalizarse bien con datos de entrenamiento, pero no con datos desconocidos del mundo real. Un modelo de autorregresión, por su parte, no tiene un mecanismo de penalización de coeficientes.
La regresión Lasso comparada con la autorregresión
La regresión Lasso es similar a la regresión de cresta, que puede restringir el coeficiente de la variable con un factor de penalización. Sin embargo, la regresión Lasso puede reducir el coeficiente a cero. Esto permite a los científicos de datos simplificar modelos complejos al ignorar los parámetros no críticos. Por otro lado, los modelos autorregresivos no regulan sus predicciones con la contracción de los coeficientes.
¿Cómo puede ayudarlo AWS con sus modelos autorregresivos?
Con Amazon Web Services (AWS), los equipos de software pueden crear, entrenar, implementar y escalar modelos autorregresivos para aplicaciones de IA generativas de manera más eficiente. Con una seguridad de nivel empresarial y una infraestructura administrada, AWS simplifica el desarrollo de modelos generativos para las empresas y reduce el tiempo de comercialización. Por ejemplo, puede utilizar:
- Amazon Bedrock, que es un servicio administrado que proporciona modelos fundacionales que puede utilizar para personalizar e innovar con sus propios datos.
- Amazon SageMaker para crear, entrenar e implementar modelos de aprendizaje automático para cualquier caso de uso.
- AWS Trainium y AWS Inferentia para capacitar, alojar y escalar aplicaciones de IA generativa en la nube con potencia informática de alto rendimiento y bajo costo.
Para comenzar a utilizar modelos autorregresivos en AWS, cree una cuenta hoy mismo.
Pasos siguientes en AWS
Obtenga acceso instantáneo al nivel Gratuito de AWS.
Comience a crear en la consola de administración de AWS.