Problema 1 da aula

O Problema da regressão é o seguinte modelo

• $Y = f(X) + \epsilon(X)$
• Dado que $E[\epsilon(X)] = 0$

Se a função for linear temos a seguinte formula

• Considerando que a variável tem uma distribuição normal $N(0,\sigma)$
• $f_n(y|x, \beta_0,\beta_1,\sigma²) = {1 \over 2 \pi \sigma^2} \cdot exp[-{1 \over 2\sigma^2} \sum^n_{i=1} (y_i - \beta_0 - \beta_1x_i)^2]$
• Busca pelo erro máximo
• $L(h,e) = {1 \over n} \sum^n_{i=1} (y_i - h(x_i))^2$ - MSE (Mean Square Error)

Calculando os valores dos betas

Calculando o gradiente:

$L = {1 \over n} \sum^n_{i=1} (y_i - h(x_i))^2$

$\delta(y,h,x) = (y_i - h(x_i))^2$

$L' = {d \over dx} {1 \over n} \sum^n_{i=1}(\delta)^2$

$L' = {1 \over n} \sum^n_{i=1} {d \over dx}(\delta)^2$

$L'a= {1 \over n} \sum^n{i=1} 2 \cdot \delta \cdot \delta'_a$

$\delta'_a = -x_i$

$L'a= {1 \over n} \sum^n{i=1} 2 \cdot (- y_i + (bx_i+ ax_i^2)) = 0$

$\delta'_b = -1$

$L'b= {1 \over n} \sum^n{i=1} 2 \cdot (- y_i + (b + ^2)) = 0$

Simplificação para b

$L'b= {1 \over n} \sum^n{i=1} 2 \cdot (- y_i + (b + ^2)) = 0$

$\sum^n_{i=1}(y_i -b -ax_i) = 0$

$na = \sum y_i - b \sum x_i$

$a = \overline{y} + b \overline{x}$

Simplificação para a

$L'a= {1 \over n} \sum^n{i=1} 2 \cdot (- y_i + (bx_i+ ax_i^2)) = 0$

$\sum(y_i -b -ax_i)(x_i) = 0$

$\sum(y_i \overline{y} + a\overline{x} - ax_i)(x_i) = 0$

$\sum = (y_ix_i - \overline{y}x_i + a\overline{x}x_i - ax_i ^2) = 0$

$a = {\sum(\overline{y}x_i - y_ix_i) \over \sum(\overline{x}x_i - x_i^2) }$