Overcoming technological barriers in ReRAM based neural networks by addressing scalability and complexity challenges - Moura, Rafael Fão de (2024)
À medida que técnicas de Inteligência Artificial ganham destaque, pesquisadores buscam aprimorar a eficiência energética das Redes Neurais (NNs) diante de dispositivos de hardware com recursos limitados. Uma abordagem promissora é o uso da Memória Resistiva de Acesso Randômico (ReRAM), que realiza operações de Multiplicação de Matriz-Vetor (MVM)em complexidade de tempoO(1). Isso oferece melhor desempenho e menor consumo de energia em comparação com métodos convencionais. No entanto, a tecnologia ReRAM enfrenta barreiras. Sua escalabilidade é limitada a alguns megabytes, insuficiente para NNs com bilhões de parâmetros, criando uma incompatibilidade de tamanho. Além disso, ReRAMs não cobrem a diversidade de cálculos não lineares em NNs com plexas, gerando um problema de complexidade. Para resolver essas barreiras, esta tese apresenta um framework que aborda os problemas de complexidade e incompatibilidade de tamanho de forma integrada. Para resolver a incompatibilidade de tamanho, apresentamos uma arquitetura GPU-ReRAM com heurísticas de mapeamento, selecionando camadas ótimas de NNs para serem aceleradas com ReRAM, tornando-as escaláveis para NNs mais profundas e reduzindo o consumo de energia. Também introduzimos uma técnica para reduzir o tamanho das NNs, adicionando dependência temporal e serializando as operações de MVM. Para lidar com o problema de complexidade, reprogramamos ReRAMs para calcular não apenas MVM, mas também funções de ativação, softmax e pooling, reduzindo o consumo de energia em NNscomplexas. Esse método oferece versatilidade para explorar novos layouts de NNs, alcançando melhor eficiência energética em comparação com dispositivos programáveis. Como resultado, este framework melhora a escalabilidade e a versatilidade da tecnologia ReRAM, tornando-a uma solução viável para aplicações de redes neurais complexas e energeticamente eficientes.