Quão eficaz é uma ferramenta de automação de análise de dados baseada em LLM? um estudo de caso com o Data Analyst do ChatGPT. - MIRANDA, Beatriz Andrade de. (2024)
Este artigo investiga a aplicação eficaz dos Grandes Modelos de Linguagem (LLMs), em particular o Generative Pre-trained Transformer (ChatGPT) da OpenAI, na análise de dados. A relevância desta pesquisa surge com a crescente adoção de ferramentas de Inteligência Artificial (IA) em processos analíticos, exigindo uma avaliação meticulosa de suas capacidades e limitações para aprimorar a tomada de decisões e a eficiência operacional. Utilizando o Data Analyst do ChatGPT como estudo de caso, este trabalho implementa um experimento estruturado com 36 perguntas distribuídas em análises Descritiva, Diagnóstica, Preditiva e Prescritiva, para mensurar sua eficácia. Os resultados apontam uma eficiência geral de 86,11%, com destaque para o desempenho em análises descritivas e diagnósticas, enquanto enfrenta desafios nas categorias mais complexas, como as preditivas e prescritivas. Apesar das limitações técnicas, tais como restrições no processamento de dados e falhas operacionais, o estudo destaca o potencial significativo do Data Analyst em auxiliar analistas de dados, estabelecendo um marco importante para futuras melhorias e pesquisas na aplicação prática de LLMs na análise de dados.