Estudo de caso: uso do ChatGPT para resolução de problemas de programação. - SOUZA, Débora Lêda de Lucena. (2023)
A geração de programas a partir de linguagem natural visa transformar frases ou comandos em linguagem natural em código de programação. O ChatGPT é um chatbot de propósito geral baseado no modelo de linguagem GPT-3 desenvolvido para gerar texto como humano, e treinado em uma forma de conversação usando aprendizagem por reforço com feedback humano. Nesse cenário, questionamentos a respeito da confiabilidade das respostas geradas pelo ChatGPT 3.5 foram levantados. Assim, neste estudo, foi realizada uma avaliação do desempenho do modelo na resolução de 100 problemas de programação selecionados aleatoriamente de plataformas populares como LeetCode e BeeCrowd. Os problemas selecionados estão distribuídos entre os graus de complexidade Fácil, Intermediário e Difícil. Do total de 100 problemas submetidos, o modelo de linguagem conseguiu responder corretamente 71 problemas ao longo de 3 tentativas, sendo 50 deles da plataforma LeetCode e 21 da plataforma BeeCrowd. Sendo assim, é possível concluir que o ChatGPT pode ser usado para resolver uma gama de problemas, porém seu uso requer muita atenção, uma vez que nem sempre o resultado gerado estará correto.