Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina

• Ano de defesa: 2017
• Autor(a) principal: Fernandes, Jessica Katherine de Sousa
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado de máquina; Dynamic sample size selection; Machine Learning; Métodos de redução de variância; Otimização estocástica; Sample size approximation; Stochastic optimization; Variance reduction methods
• Link de acesso: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-28092017-182905/

Em diferentes aplicações de Aprendizado de Máquina podemos estar interessados na minimização do valor esperado de certa função de perda. Para a resolução desse problema, Otimização estocástica e Sample Size Selection têm um papel importante. No presente trabalho se apresentam as análises teóricas de alguns algoritmos destas duas áreas, incluindo algumas variações que consideram redução da variância. Nos exemplos práticos pode-se observar a vantagem do método Stochastic Gradient Descent em relação ao tempo de processamento e memória, mas, considerando precisão da solução obtida juntamente com o custo de minimização, as metodologias de redução da variância obtêm as melhores soluções. Os algoritmos Dynamic Sample Size Gradient e Line Search with variable sample size selection apesar de obter soluções melhores que as de Stochastic Gradient Descent, a desvantagem se encontra no alto custo computacional deles.