DEV Community

Cover image for Análise das Respostas de LLMs em Relação ao Conteúdo Introdutório de Programação: um Comparativo entre o ChatGPT e o Gemini
Daniel Linhares
Daniel Linhares

Posted on

Análise das Respostas de LLMs em Relação ao Conteúdo Introdutório de Programação: um Comparativo entre o ChatGPT e o Gemini


Dados da obra: Análise das Respostas de LLMs em Relação ao Conteúdo Introdutório de Programação: um Comparativo entre o ChatGPT e o Gemini
  • Autores: Luiz Carlos Pereira Filho, Talita de Paula Cypriano de Souza e Luciano Bernardes de Paula.
  • Ano de Publicação: 2025 (Volume 33)
  • Editora: Revista Brasileira de Informática na Educação (RBIE), publicada pela Sociedade Brasileira de Computação (SBC)
  • Local: Bragança Paulista / Brasil (Instituto Federal de São Paulo - IFSP)
  • Gênero: Artigo científico / estudo empírico comparativo

  • Resenhistas: Antonio Daniel de Souza Linhares | Stanley de Oliveira Souza


Resenha Crítica

O estudo avalia o ChatGPT e o Gemini na resolução de 46 exercícios básicos de programação em C, analisando o desempenho sob a perspectiva de alunos e professores. O placar geral mostra o ChatGPT na frente, com 78,2% de acertos contra 69,6% do Gemini, mas a verdade é que ambas as IAs cometem erros grosseiros de equações matemáticas simples a códigos vulneráveis que estouram a memória do computador.
Teoricamente, o trabalho expõe o perigo do estudante engolir respostas prontas sem questionar. Na prática, serve para professores usarem esses próprios deslizes da IA em aula, ensinando o aluno como um revisor crítico. É uma leitura essencial para docentes de tecnologia e estudantes iniciantes que usam essas ferramentas como tutores particulares.
O autores concluem que os LLMs ajudam no aprendizado, mas exige um conhecimento prévio mínimo e supervisão docente constante, como crítica, a amostra de 46 exercícios de um único livro é pequena demais, a clareza foi julgada pelos próprios professores sem testar com alunos reais e o uso da linguagem C derrubou o desempenho em strings. Além disso, essas porcentagem caducam rápido conforme as IAs mudam. No fim, o artigo prova que a IA é uma ótima assistente, mas um péssimo tutor autônomo.

Fonte:https://journals-sol.sbc.org.br/index.php/rbie/article/view/4477/3315

Top comments (0)