The Neighborhood

• A Distriubuição dos exemplos e das predições são iguais → Não necessariamente verdade, mas essa ideia é utilizada nos classificadores para conseguir calcular as predições
• Dada a perdda $L(h, \epsilon)$, então a hipótese ótima é $h^* = arg min_{h \in \Eta} L(h, \Epsilon)$
• Validação cruzada
  • holdout → Divide em conjunto de treino, e conjunto de teste
  • k-fold: divida o conjunto de amostras aleatoriamente em k partições, utilize uma partção para avaliar e as outras para treinar. Faça um rodízio entre a escolhida para avaliação
  • leave-one-out: utiliza uma única amostra para avaliação, e todas as outras aostras para treinar. Faça um rodízio entre a amostra escolhida para avaliação
• Problemas com validação Cruzada
  • No holdout como dividir o conjunto?
  • no k-fold deve-se realizar k-treinamentos
  • obtém-se uma avaliação do procedimento de treinamento, mas obtém-se várias hipóteses:
    • Retreina com todos os exemplos
    • escolhe a hipótese com melhor desempenho
  • Regularização →
    • $L(h, \Epsilon) = EmpLoss(h, \Epsilon) + \lambda Complexity(h)$
    • Como escolher $\lambda$?
• Modelos não paramétricos
  • Não pode ser caracterizado por um conjunto finito de parâmetros
  • Aprendizado baseado em Instância: Armazena algumas amostras como parte do modelo
  • K-fold: segundo alguma medida de distância, considera os vizinhos mais próximos para escolher a saída do sistema
• Qual distância utilizar?
  • Distância de Minkowski $D^\rho(x_p, x_q) = (\Sigma^d_{i=1} |x_{p,i} - x_{q,i}|^\rho)^{1/\rho}$, quando $\rho = 2$ distância euclidiana e quando $\rho=1$ distância Manhattan.
  • Usar distância para calculo