Desempenho e expressividade da função de ativação PReLU em modelos neurais - Leite, Eduardo Andre (2025)
Este estudo investiga a eficiência e expressividade da função de ativação PReLU (Parametric Rectified Linear Unit) em redes neurais profundas, com foco em sua capacidade de substituir outras funções amplamente utilizadas, como ReLU, Tanh e Abs. A PReLU, uma extensão da ReLU, destaca-se por introduzir um parâmetro adaptável que resolve limitações como o problema de unidades mortas, além de ser capaz de assumir a forma de outras funções de ativação. A pesquisa parte da hipótese de que essa flexibilidade pode oferecer vantagens práticas emtarefas complexas, como maior acurácia e/ou aprendizado mais eficiente. Para avaliar essas hipóteses, foram realizados experimentos com arquiteturas consagradas, como LeNet e RDNet, utilizando datasets de classificação de imagens amplamente reconhecidos, como MNIST, FashionMNIST e CIFAR-10. Os resultados indicam que a PReLU apresenta um desempenho competitivo em relação às demais funções, frequentemente apresentando valores de acurácia superiores. Estes achados reforçam seu potencial como uma solução simples e versátil para problemas de classificação de imagens em redes neurais.