Managing numerical simulation data using a multidimensional array representation - Lustosa, Hermano Lourenço Souza (2015)
Aplicações científicas geram uma crescente massa de dados que precisam ser analisados e gerenciados eficientemente. Uma vez que os tradicionais bancos de dados relacionais não são projetados para a carga de trabalho predominantemente analítica exigida por essas aplicações, abordagens alternativas, tais como, matrizes multidimensionais e bancos de dados colunares, podem oferecer melhores tempos de execução de consultas. Neste trabalho, propomos o uso de novas tecnologias para a gerência de dados produzidos por simulações numéricas, similares às desenvolvidas pelo HeMoLab. O modelo de matrizes multidimensionais permite a modelagem elegante de dimensões e variáveis usadas em simulações numéricas. Entretanto, o mapeamento dos dados de saída de uma simulação em uma matriz multidimensional não é simples. Uma solução ingênua pode levar a criação de matrizes excessivamente esparsas, impactando o tempo de resposta do sistema, especialmente quando a simulação utiliza uma malha irregular para modelar o seu domínio físico. Nós propomos novas estratégias para resolver esses problemas através da definição de um mapeamento eficiente de valores de coordenadas com o uso de histogramas e curvas de preenchimento espacial. Nós avaliamos nossas técnicas através de experimentos feitos com dados reais, comparando-as com bancos de dados relacionais. Os resultados indicam que tanto iv matrizes multidimensionais quanto bancos de dados colunares são muitas vezes mais rápidos que bancos de dados relacionais tradicionais para consultas avaliando uma grande quantidade de dados. Além disso, os resultados auxiliam na identificação de cenários nos quais matrizes multidimensionais são mais eficientes, e nos quais elas são superadas por uma abordagem envolvendo o uso de um banco de dados colunar.