A general algorithm for the real-time emulationof pitched musical instruments and the singing voice

• Ano de defesa: 2023
• Autor(a) principal: Santos, Carlos Henrique Tarjano
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Síntese sonora em tempo real; Processamento digital de sinais; Redes neurais; Representação discreta de sinais; Instrumento musical; Processamento de som por computador; Inteligência artificial; Real-time sound synthesis; Digital Signal Processing; Neural Networks; Discrete Signal Representation
• Link de acesso: http://app.uff.br/riuff/handle/1/29781

Instrumentos musicais digitais baseados em amostras representam o atual estado da arte da emulação de instrumentos musicais em tempo real. Embora os melhores instrumentos digitais baseados em amostras apresentem boa qualidade de som, eles apresentam várias desvantagens, como a falta de flexibilidade e as enormes bibliotecas de sons pré-gravados que demandam grandes espaços para armazenamento de arquivos digitais, por exemplo. Nos últimos anos, as abordagens baseadas em inteligência artificial vêm ganhando popularidade. Embora a qualidade e a eficiência dos modelos atuais estejam melhorando constantemente, eles tendem a consumir muitos recursos computacionais e atualmente não são capazes de competir, em termos de qualidade sonora, com instrumentos digitais baseados em amostras. No cerne deste problema está a falta de uma representação apropriada para sinais discretos com alto grau de periodicidade, formulada para aproveitar os resultados que as redes neurais estão demonstrando em áreas como processamento de linguagem natural e visão computacional, onde constituem o estado da arte. Este trabalho apresenta, portanto, tal representação e, a partir dela, desenvolve um conjunto de instrumentos musicais digitais capazes de emular instrumentos reais, além da voz cantada, em tempo real, com requisitos modestos de armazenamento e poder de processamento. Para tanto, é realizado um levantamento da literatura relacionada, especialmente no que diz respeito à área de processamento digital de sinais, e preenche as lacunas que impedem o desenvolvimento de tal representação. Especificamente, são introduzidos novos algoritmos de detecção de envelopes e de segmentação de sinais discretos, desenhado para identificar os pseudo ciclos individuais de sinais semi periódicos. Esses avanços teóricos são empregados na implementação de um framework para a emulação de instrumentos musicais em geral, onde os instrumentos digitais são treinados usando amostras pré-gravadas de instrumentos reais. A qualidade das amostras disponíveis gratuitamente para treinar o algoritmo é uma das limitações do presente trabalho. O trabalho também exemplifica como algoritmos baseados em redes neurais podem ser melhor integrados a áreas tradicionais relacionadas à síntese sonora, e como podem motivar avanços práticos e teóricos nessas áreas.