350px|thumb|Ejemplo de una regresión lineal con una variable dependiente y una variable independiente. En estadística, la regresión lineal o ajuste lineal es un modelo matemático usado para aproximar la relación de dependencia entre una variable dependiente , variables independientes con y un término aleatorio . Este método es aplicable en muchas situaciones en las que se estudia la relación entre dos o más variables o predecir un comportamiento, algunas incluso sin relación con la tecnología. En caso de que no se pueda aplicar un modelo de regresión a un estudio, se dice que no hay correlación entre las variables estudiadas. Este modelo puede ser expresado como:
donde:
es la variable dependiente o variable de respuesta. son las variables explicativas, independientes o regresoras. son los parámetros del modelo, miden la influencia que las variables explicativas tienen sobre el regrediendo
el término es la intersección o término "constante", las son los parámetros respectivos a cada variable independiente, y es el número de parámetros independientes a tener en cuenta en la regresión. La regresión lineal puede ser contrastada con la regresión no lineal.
Historia
La primera forma de regresión lineal documentada fue el método de los mínimos cuadrados que fue publicada por Legendre en 1805, Gauss publicó un trabajo en donde desarrollaba de manera más profunda el método de los mínimos cuadrados,C.F. Gauss. Theoria combinationis observationum erroribus minimis obnoxiae. (1821/1823) y en donde se incluía una versión del teorema de Gauss-Márkov.
El término regresión se utilizó por primera vez en el estudio de variables antropométricas: al comparar la estatura de padres e hijos, donde resultó que los hijos cuyos padres tenían una estatura muy superior al valor medio, tendían a igualarse a este, mientras que aquellos cuyos padres eran muy bajos tendían a reducir su diferencia respecto a la estatura media; es decir, "regresaban" al promedio.Introduction to linear regression Curvefit.com (en inglés) La constatación empírica de esta propiedad se vio reforzada más tarde con la justificación teórica de ese fenómeno.
El término lineal se emplea para distinguirlo del resto de técnicas de regresión, que emplean modelos basados en cualquier clase de función matemática. Los modelos lineales son una explicación simplificada de la realidad, mucho más ágiles y con un soporte teórico mucho más extenso por parte de la matemática y la estadística.
Pero bien, como se ha dicho, se puede usar el término lineal para distinguir modelos basados en cualquier clase de aplicación.
El modelo de regresión lineal
El modelo de regresión lineal será aplicado en aquellos casos en los que la variable independiente X sea continua. El modelo lineal relaciona la variable dependiente con variables regresoras con o cualquier transformación de éstas que generen un hiperplano de parámetros desconocidos:
donde es una variable aleatoria que recoge todos aquellos factores de la realidad no controlables u observables y que por tanto se asocian con el azar, y es la que confiere al modelo su carácter estocástico. En el caso más sencillo, con una sola variable explícita, el hiperplano es una recta:
El problema de la regresión consiste en elegir unos valores determinados para los parámetros desconocidos , de modo que la ecuación quede completamente especificada. Para ello se necesita un conjunto de observaciones o una muestra proveniente de este modelo. En una observación -ésima cualquiera, se registra el comportamiento simultáneo de la variable dependiente y las variables explícitas (las perturbaciones aleatorias se suponen no observables).
Los valores escogidos como estimadores de los parámetros , son los coeficientes de regresión sin que se pueda garantizar que coincidan con parámetros reales del proceso generador. Por tanto, en
Los valores son por su parte estimaciones o errores de la perturbación aleatoria. Ei es el residuo e indica la bondad del ajuste realizado para cada punto. Se calcula de la siguiente forma:
Una vez se ha obtenido la recta de regresión, es necesario comprobar la bondad del ajuste realizado mediante el siguiente análisis ANOVA:
Archivo:Linear regression - 1.png
n= número de datos. Se compara F0 con valor F crítico (tabla F de Scnedecor) con valor de significación α, 1, y n-2 grados de libertad concluyendo: Si F0< Ft, el modelo es apropiado, Si F0> Ft, el modelo utilizado no es apropiado.
Hipótesis del modelo de regresión lineal clásico
Media cero: . Para cada valor de la perturbación tomará distintos valores de forma aleatoria, pero no tomará sistemáticamente valores positivos o negativos, sino que se supone tomará algunos valores mayores que cero y otros menores que cero, de tal forma que su valor esperado sea cero. Homocedasticidad: para todo . Todos los términos de la perturbación tienen la misma varianza que es desconocida. La dispersión de cada en torno a su valor esperado es siempre la misma. Incorrelación o independencia: para todo . Las covarianzas entre las distintas pertubaciones son nulas, lo que quiere decir que no están correlacionadas. Esto implica que el valor de la perturbación para cualquier observación muestral no viene influenciado por los valores de las perturbaciones correspondientes a otras observaciones muestrales. Regresores estocásticos. Los sistemas de ecuaciones simultáneas describen el comportamiento de un vector de variables endógenas en función de un vector de variables exógenas. Los regresores estocásticos surgen del hecho de que la variable endógena de una ecuación puede entrar en otra como variable explicativa. Independencia lineal. No existen relaciones lineales exactas entre los regresores. . Suponemos que no existen errores de especificación en el modelo, ni errores de medida en las variables explicativas. Normalidad de las perturbaciones:
Tipos de modelos de regresión lineal
Existen diferentes tipos de regresión lineal que se clasifican de acuerdo a sus parámetros:
Regresión lineal simple
El modelo de regresión lineal simple sólo está conformado por dos variables estadísticas llamadas y . Considera una única variable independiente o explicativa, , y una variable dependiente o respuesta, , asumiendo que la relación entre ambas es lineal. Para la regresión lineal simple, se asume que y se relacionan mediante la relación funcional (siendo β1 y β0 estimadores):"Fórmulas", Probabilidad y Estadística. Cs. Básicas. U.D.B. Matemática. Universidad Tecnológica Nacional, Facultad Regional Buenos Aires. Editorial CEIT-FRBA. (Código BM2BT2)
donde son constantes desconocidas llamadas coeficientes de regresión. β1: Se trata del cociente entre la interacción obtenida entre ambas variables y la suma de cuadrados de los valores de la variable dependiente. Este valor corresponde a la pendiente de la recta. Por su parte, β0 es el resultado de la siguiente ecuación en la que aparecen los valores medios correspondientes a ambas variables y el estimador β1 obtenido anteriormente. Este valor es la ordenada en el origen.
Estimación de los parámetros Dado que los parámetros y son constantes desconocidas, estas deben estimarse mediante los datos de la muestra, supóngase que se tiene datos , se estimarán los parámetros utilizando el método de mínimos cuadrados.
Se estiman y tal que la suma de los cuadrados de las diferencias entre las observaciones y la recta de regresión sea mínima, esto es, buscamos minimizar la función error cuadrático dada por
La función de error cuadrático alcanza un mínimo en el punto tal que
entonces derivando respecto a y , evaluando en y e igualando a cero, obtenemos el siguiente sistema de ecuaciones
estas dos ecuaciones son conocidas como ecuaciones normales la solución de dicho sistema de ecuaciones está dada por:
La interpretación del parámetro medio es que un incremento en Xi de una unidad, Yi incrementará en . Luego el modelo ajustado de regresión lineal simple es
Para los casos en los que un modelo lineal no sea el más adecuado, se pueden aplicar los llamados modelos intrínsecamente lineales que transforman la recta en otro tipo de función. Un ejemplo sería la función exponencial:
Regresión lineal múltiple
La regresión lineal permite analizar la relación entre dos o más variables a través de ecuaciones, lo que se denomina regresión múltiple o regresión lineal múltiple.
Constantemente en la práctica de la investigación estadística, se encuentran variables que de alguna manera están relacionadas entre sí, por lo que es posible que una de las variables puedan relacionarse matemáticamente en función de otra u otras variables.
Este modelo cuenta con varias variables regresoras, por lo que cuenta con varios parámetros, para la regresión lineal múltiple, se asume que la variable de respuesta se relaciona con las variables regresoras mediante la relación funcional:Técnicas de regresión: Regresión Lineal Múltiple. Pértega Díaz, S., Pita Fernández, S. Unidad de Epidemiología Clínica y Bioestadística. Complejo Hospitalario de La Coruña (España)
donde los parámetros son llamados coeficientes del modelo de regresión múltiple.
Supongamos que se tiene una muestra de tamaño dada por con donde denota el -ésimo valor observado en el regresor y denota la -ésima observación de entonces el modelo toma la forma
donde es el error asociado a la -ésima medición del valor y sigue los supuestos usuales de modo que (media cero, varianza constante e igual a y con ).
Estimación de los parámetros Para estimar los parámetros del modelo, se puede utilizar el método de mínimos cuadrados, en este caso, la función de error cuadrático está dada por
la cual deseamos minimizar.
Los estimadores por mínimos cuadrados denotados por deben satisfacer
para . Resolver este sistema con ecuaciones de forma analítica es complicado por lo que se recurre a escribir el modelo de regresión lineal múltiple
en forma matricial como
siendo
donde y .
En forma matricial, la función de error cuadrático puede ser escrita como
La obtención de los estimadores se realizará resolviendo el sistema lineal de ecuaciones. Los estimadores por mínimos cuadrados deben satisfacer
donde denota el vector que contiene a los estimadores y denota un vector con ceros.
Puede verificarse que la condición anterior se reduce a
Si la matriz inversa existe entonces el estimador por mínimos cuadrados está dado por
Por lo que el modelo ajustado de regresión está dado por
Al igual que en el caso anterior será necesario efectuar una comprobación de la bondad de ajuste mediante un test ANOVA.
Archivo:FOTO10.png
k= número de variables. n= número de datos. p= número de grupos. Siendo estas las expresiones para el cálculo de las sumas de cuadrados:
Con el valor F crítico (valor de significación α, k, y n-p grados de libertad) correspondiente y se compara con F0 determinando la bondad del ajuste de la misma forma que en el caso de una variable.
Rectas de regresión
Las rectas de regresión son las rectas que mejor se ajustan a la nube de puntos (o también llamado diagrama de dispersión) generada por una distribución conjunta. Matemáticamente, son posibles dos rectas de máximo ajuste:Apunte sobre Rectas de regresión. Ministerio de Educación y Ciencia. Gobierno de España.
La recta de regresión de sobre :
La recta de regresión de sobre :
La correlación ("r") de las rectas determinará la calidad del ajuste. Si r es cercano o igual a 1, el ajuste será bueno y las predicciones realizadas a partir del modelo obtenido serán muy fiables (el modelo obtenido resulta verdaderamente representativo); si r es cercano o igual a 0, se tratará de un ajuste malo en el que las predicciones que se realicen a partir del modelo obtenido no serán fiables (el modelo obtenido no resulta representativo de la realidad). Ambas rectas de regresión se intersecan en un punto llamado centro de gravedad de la distribución.
Aplicaciones de la regresión lineal