Relatório de Avaliação de LLM

Modelo	Data	Tempo Total de Resposta (s)	Testes Aprovados	Média CodeBLEU (0-1)	Média de Pontuação de Utilidade (0-4)	Média de Pontuação de Correção Funcional (0-4)
o1-preview	2025-04-01	2681.95	134	0.314319	3.64634	3.7378
o1-mini	2025-04-01	959.029	128	0.33127	3.7378	3.79268
gpt-4o	2025-04-01	186.904	120	0.309362	3.73171	3.77439
gpt-4o-mini	2025-04-01	232.511	117	0.328017	3.65854	3.66463
claude-3-5-sonnet-20240620	2025-04-01	512.452	107	0.300656	3.64024	3.56098
claude-3-5-sonnet-20241022	2025-04-01	311.039	112	0.32159	3.68902	3.69512
gemini-1.5-pro	2025-04-01	518.565	99	0.33285	3.48171	3.4939
gemini-1.5-flash	2025-04-01	758.837	0	0.266851	0.829268	1.26829

Tempo Total de Resposta (s): O tempo total que o modelo levou para gerar todas as saídas.

Testes aprovados: O número de testes unitários que o modelo passou durante a avaliação, de um total de 164 testes.

Média CodeBLEU: Pontuação média do CodeBLEU, uma métrica para avaliar a qualidade da geração de código com base na correção sintática e semântica.

Média Pontuação de Utilidade: Avaliação média da utilidade das saídas do modelo, conforme avaliado por um modelo LLM.

• 0: O trecho não é de forma alguma útil, é irrelevante para o problema.

• 1: O trecho é ligeiramente útil, contém informações relevantes para o problema, mas é mais fácil escrever a solução do zero.

• 2: O trecho é um pouco útil, requer mudanças significativas (comparado ao tamanho do trecho), mas ainda é útil.

• 3: O trecho é útil, mas precisa ser ligeiramente alterado para resolver o problema.

• 4: O trecho é muito útil, resolve o problema.

Média Pontuação de Correção Funcional: Pontuação média da correção funcional das saídas do modelo, avaliando quão bem as saídas atendem aos requisitos funcionais, avaliadas por um modelo LLM.

• 0 (falhando todos os testes possíveis): O trecho de código é totalmente incorreto e sem sentido.

• 4 (passando todos os testes possíveis): O trecho de código é totalmente correto e pode lidar com todos os casos.