Analisando LLMS na resolução de problemas de competições de programação: um estudo com ChatGPT e Bard. - MELO, Daniel Carlos Alves de. (2023)
Com a recente adoção de Inteligências Artificiais Generativas no campo da Ciência da Computação, surge o questionamento dos limites dessas ferramentas na geração de código e no desempenho desse código na resolução de problemas de programação de alta complexidade, como desafios envolvendo programação dinâmica. Neste estudo, analisaremos o desempenho de dois modelos de IA(Inteligência Artificial), o Bard e o ChatGPT, ao submetê-los a 83 problemas de programação de diversos níveis de complexidade. Utilizaremos os prompts de ambas as ferramentas em um estudo de caso comparativo que aplicará o código gerado por esses modelos em problemas de programação obtidos de juízes online, incluindo Codeforces, Atcoder, CodeChef e LeetCode. Compararemos os resultados desses modelos em competições online realizadas regularmente pelas plataformas citadas, os textos das questões serão submetidos para as ferramentas enquanto as competições estiverem acontecendo, garantindo que os problemas sejam inéditos e desconhecidos pelas IAs. Este estudo visa obter dados consistentes para avaliar a capacidade do Bard e do ChatGPT 3.5 na resolução de problemas de programação com enunciados desconhecidos por ambas as ferramentas. Os resultados contribuirão para um entendimento mais aprofundado do desempenho dessas IAs em competições de programação e para pesquisas futuras relacionadas ao uso de IA na resolução de desafios computacionais complexos.