Usando medidas de dificuldade de instâncias em curriculum learning

• Ano de defesa: 2023
• Autor(a) principal: Nunes, Gustavo Henrique [UNIFESP]
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de São Paulo
• Palavras-chave em Português: Redes neurais profundas; Curriculum learning; Medidas de instance hardness
• Link de acesso: https://repositorio.unifesp.br/handle/11600/68372

As Redes Neurais Profundas (Deep Learning Networks) têm apresentado resultados no estado da arte em diversas tarefas desafiadoras, como na análise e classificação de imagens, vídeos e texto. Contudo, o seu treinamento é em geral custoso e a obtenção de melhores resultados preditivos depende de diversos fatores. Uma das alternativas propostas na literatura para acelerar o treinamento dessas redes e obter um bom desempenho preditivo é o Curriculum Learning (CL). No CL, os dados disponíveis para treinamento das redes são apresentados de maneira ordenada, em que observações de menor grau de dificuldade são apresentadas primeiro e o nível de dificuldade das observações apresentadas é progressivamente aumentado. Neste trabalho propõe-se o uso de medidas de dificuldade de instâncias (instance hardness measures - IHM), conhecidas na literatura por oferecerem diferentes perspectivas do nível de dificuldade de cada observação em um conjunto de dados, para realizar essa ordenação. Os resultados experimentais obtidos para o conjunto CIFAR-100 demonstram que a utilização do CL trouxe a maior acurácia preditiva em dez das vinte superclasses do conjunto de dados. Na sequência, a metodologia tradicional de treinamento Vanilla alcançou a maior acurácia preditiva em oito superclasses e uma ordenação aleatória (Random) se sobressaiu em duas. Com o intuito de verificar se os resultados poderiam ser melhorados, foram executados diversos experimentos adicionais, em que foi variado o parâmetro de apresentação de novas instâncias durante o treinamento, alterada a rede de extração de características e avaliada a utilização de métodos de agregação de medidas. Esses experimentos melhoraram ainda mais as acurácias preditivas em superclasses que o CL já havia trazido os melhores resultados, mas em superclasses que o Vanilla se saiu melhor isso não ocorreu.