Um estudo sobre abordagens para avaliação out-of-sample de modelos de classificação de animais em imagens de armadilhas fotográficas - Cunha, Francisco Fagner do Rego (2019)
A utilização de armadilhas fotográficas é uma estratégia de monitoramento da vida selvagem que consiste na instalação de câmeras com sensores de movimento que, ao serem acionados, ativam a gravação de curtas sequências de imagens ou vídeos de animais, sem interferir em seu comportamento natural. Essas câmeras obtêm milhões de imagens, mas a extração de informação é tradicionalmente feita por humanos, tarefa que demanda tempo e é dispendiosa. Técnicas de aprendizado profundo são o estado da arte para extração de informações a partir de imagens e têm sido aplicadas em diversos trabalhos para a classificação de animais em imagens de armadilhas fotográficas. Como esses modelos têm alta capacidade de representação e podem facilmente memorizar toda a base de treinamento, deve-se evitar sobreposição de imagens muito semelhantes nas bases de treino e de teste, a fim de avaliar corretamente a capacidade de generalização dos modelos. Entretanto, a similaridade entre as imagens de armadilhas fotográficas obtidas em um mesmo local em curtos períodos de tempo tem recebido pouca atenção na literatura da área. O particionamento aleatório dos dados é a abordagem mais comum utilizada nos trabalhos que investigam a classificação de espécies em imagens de armadilhas fotográfica. Porém, esse tipo de abordagem pode gerar conjuntos de teste otimistas em relação às condições reais de utilização dos modelos, fato que pode implicar em uma avaliação superestimada dos modelos treinados e pode levar à tomada de decisões equivocadas. Considerando esse contexto, neste trabalho foi realizado um estudo sobre abordagens de particionamento de dados entre treino e teste em bases de classificação de espécies de animais em imagens de armadilhas fotográficas a fim de reduzir o viés otimista na construção de conjuntos de teste. Cenários reais de utilização foram simulados e avaliados para verificar se os conjuntos de teste conseguem evidenciar a capacidade de generalização dos modelos nessas condições. Como resultado, foi especificado um conjunto de recomendações para o particionamento dos dados para avaliação out-of-sample de modelos de acordo com o protocolo utilizado pelo projeto de armadilhas fotográficas.