Overcoming technological barriers in ReRAM based neural networks by addressing scalability and complexity challenges

• Ano de defesa: 2024
• Autor(a) principal: Moura, Rafael Fão de
• Orientador(a): Carro, Luigi
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Redes neurais; Escalabilidade; Computação na memória; Memória; Inteligência artificial
• Palavras-chave em Inglês: Neural networks; Scalability; Computing in memory; Resistive Random Access Memory
• Link de acesso: http://hdl.handle.net/10183/291005

À medida que técnicas de Inteligência Artificial ganham destaque, pesquisadores buscam aprimorar a eficiência energética das Redes Neurais (NNs) diante de dispositivos de hardware com recursos limitados. Uma abordagem promissora é o uso da Memória Resistiva de Acesso Randômico (ReRAM), que realiza operações de Multiplicação de Matriz-Vetor (MVM)em complexidade de tempoO(1). Isso oferece melhor desempenho e menor consumo de energia em comparação com métodos convencionais. No entanto, a tecnologia ReRAM enfrenta barreiras. Sua escalabilidade é limitada a alguns megabytes, insuficiente para NNs com bilhões de parâmetros, criando uma incompatibilidade de tamanho. Além disso, ReRAMs não cobrem a diversidade de cálculos não lineares em NNs com plexas, gerando um problema de complexidade. Para resolver essas barreiras, esta tese apresenta um framework que aborda os problemas de complexidade e incompatibilidade de tamanho de forma integrada. Para resolver a incompatibilidade de tamanho, apresentamos uma arquitetura GPU-ReRAM com heurísticas de mapeamento, selecionando camadas ótimas de NNs para serem aceleradas com ReRAM, tornando-as escaláveis para NNs mais profundas e reduzindo o consumo de energia. Também introduzimos uma técnica para reduzir o tamanho das NNs, adicionando dependência temporal e serializando as operações de MVM. Para lidar com o problema de complexidade, reprogramamos ReRAMs para calcular não apenas MVM, mas também funções de ativação, softmax e pooling, reduzindo o consumo de energia em NNscomplexas. Esse método oferece versatilidade para explorar novos layouts de NNs, alcançando melhor eficiência energética em comparação com dispositivos programáveis. Como resultado, este framework melhora a escalabilidade e a versatilidade da tecnologia ReRAM, tornando-a uma solução viável para aplicações de redes neurais complexas e energeticamente eficientes.