Maximação Verossimilhança

• Considere $f_n(x|\theta)$. Se essa função é interpretada como uma função $\Theta$ com parametros x = (x1,....xn) então ela é uma função de verossimilhança
• $L(\theta;x) = f(x_1|\theta)...f(x_n|\theta)$
• Para cada possivel vetor de observação x, defina ${\theta}' = srgmax_{\theta \in \Omega}L(\theta;x)$ como maximo de verossimilhança
• Seja theta’ o M.L.E. de theta, se g:R → R é uma função estrimtamente crecente enntão $\theta '= arg max_{\theta \in \Omega} g[L(x | \theta)]$. Para encontrar MLE usualmetne considera-se a transformação $l(\theta; x) = log L(\theta;x)$e resolve-se a seguinte equação:
  • $\Delta_\theta l(\theta; x)=0$
  • O Estimador não necessariamente é unico e também pode não existir dependendo da classe de distribuição
• Considera-se uma variável aleatória $Y \in \{0,1\}$ em X
• Se temos N amostras $e_i = (x_i;y_i)$ e uma função de hipótese $h_w(x)$ tal que>
  • $P(Y=1|X=x,w) = h_w(x)$
  • $P(Y = 0|X = x, w) = h_w(x)$
  • $l(w,x) = \sum^n_{i=1} log P(Y=y|x=x, w) \newline = \sum_{i=1}y_i * log (h_w(x_i))+(1-y_i)* log(1-h_w(x_i))$

Maximização

exemplo 1:

$f(x) = -x²+X+1 \newline f'(x) = -2x +1 \newline f''(x) = -2 \rightarrow MAX \newline f'(x) = 0 \newline -2x + 1= 0 \newline x = 0.5 \newline max(f) = f(0.5) \newline max(f) = -0.5² + 0.5 + 1 \newline max(f) = 1.25 \newline arg\max{x \in \real} f(x) = 0.5$ exemplo 2:

$f(x) = -x^4 + x^3 + 2x^2 + 5 \newline f'(x) = -4x^3 + 3x^2 + 4x \newline f''(x) = -12x^2 + 6x + 4 \newline f'(x) = 0 \newline -4x^3 + 3x^2 + 4x = 0, x =0 \space or \newline -4x^2 +3x + 4 = 0 \newline x_{\{2,3\}} = {3 \pm \sqrt{73}\over8} \newline

f'(0) = 4 \rightarrow MIN \newline f(x_{\{2,3\}}) =$ $f(x) = -x^4 + x^3 + 2x^2 + 5 \newline f'(x) = -4x^3 + 3x^2 + 4x \newline f''(x) = -12x^2 + 6x + 4 \newline f'(x) = 0 \newline -4x^3 + 3x^2 + 4x = 0, x =0 \space or \newline -4x^2 +3x + 4 = 0 \newline x_{\{2,3\}} = {3 \pm \sqrt{73}\over8} \newline

f(0) = 4 \rightarrow MIN \newline max(f(x_{\{2,3\}})) = max(f)$

Problema de Otimização

Dada um função g:R → R, encontre x* in R tal que g(x*) ≥ g(x) para todo x

Teorema 1. Se g:R→ R é contínua e diferenciavel, a solução de x para o problema de otimização deve atender a seguinte equação

${\sigma g(x^) \over \sigma x_i} = 0 \iff \Delta_x g(x^{}) = 0$

Teorema 2 (Série de taylor). Seja f: R → R uma func infinitamente diferenciavel definida em um intervalo aberto (a-r, a+r), então:

$f(x) = \sum^\infin_{n=0}{f^{(n)}(a) \over n!}(x-a)^n$

Definition 1 (Método de newton): Dada a função g:R→R contínua duas vezes diferenciável tal que g’’ ≠ 0, o método de Newton itera em valores de x^t seguindo: