En estadística, la regresión lineal es un modelo matemático usado para aproximar la dependencia entre una variable dependiente Y, las variables independientes Xi y un termino aleatorio Ɛ.

La primer forma de regresión lineal documentada fue el método de los mínimos cuadrados que fue publicada por el matemático Adrien-Marie Legendre em 1805.

Gauss publicó un trabajo donde se desarrollaba de manera más profunda el método de los mínimos cuadrados, y en donde se incluía una versión del teorema de Gauss-Márkov. [1]

Regresión Lineal y Mínimos Cuadrados Ordinarios [2]:

https://www.youtube.com/watch?v=k964_uNn3l0

Método de mínimos cuadrados [3].

Dado un set de datos X e Y, siendo Y variable dependiente de X. En su forma más simple, podemos calcular la ecuación de la recta $\bar{y} = b_0 + b_1\bar{x}$, que nos permitirá predecir valores futuros aplicando el siguiente algoritmo.

Para visualizar este concepto, ilustremos el ejemplo realizado por Ricardo Celis [4] en el curso de Regresión Lineal en Platzi.

Dataset

Primero debemos calcular $b_1$ usando la siguiente ecuación:

$$ b_1 = \frac{\Sigma(x-\bar{x})(y-\bar{y})}{\Sigma(x-\bar{x})^2} $$

Como podemos apreciar en la formula anterior, vamos a necesitar los promedios de $x$ y $y$ denotados como $\bar{x}$ y $\bar{y}$, los cuales sabemos de estadística, que los podemos calcular como la sumatoria de los datos dividido entre el numero de datos:

$$ \bar{x} = \frac{\Sigma x_i}{n} $$

De lo anterior tenemos que $\bar{x} = 3$ y $\bar{y} = 4.2$. Para mayor facilidad de visualización de datos para aplicar nuestra formula llenamos la siguiente tabla:

Copy of Valor de Renta Por Año

Con la tabla anterior podemos proceder a calcular nuestro $b_1$:

$$ b_1 = \frac{9}{10} = 0.9 $$

Ahora, si despejamos $b_0$ de la ecuación de la recta podemos calcularlo así:

$$ b_0 = \bar{y} - b_1 * \bar{x} = 4.2-0.9*3 = 1.5 $$