Relatório de Avaliação de LLM
o1-preview
2024-12-21
2222.02
135
0.315387
3.60366
3.62195
o1-mini
2024-12-21
742.336
128
0.34076
3.70122
3.71341
gpt-4o
2024-12-21
328.26
124
0.321923
3.70732
3.68293
gpt-4o-mini
2024-12-21
209.742
122
0.335439
3.64024
3.63415
claude-3-5-sonnet-20240620
2024-12-21
295.78
117
0.299314
3.66463
3.63415
claude-3-5-sonnet-20241022
2024-12-21
263.51
114
0.330973
3.67073
3.62805
gemini-1.5-pro
2024-12-21
507.269
94
0.347441
3.45122
3.43293
gemini-1.5-flash
2024-12-21
768.506
1
0.263737
0.628049
0.835366
Tempo Total de Resposta (s): O tempo total levado pelo modelo para gerar todas as saídas.
Testes aprovados: O número de testes unitários que o modelo passou durante a avaliação, de um total de 164 testes.
Média CodeBLEU: Pontuação média de CodeBLEU, uma métrica para avaliar a qualidade da geração de código com base na correção sintática e semântica.
Média Pontuação de Utilidade: Avaliação média da utilidade da saída do modelo, conforme avaliado por um modelo LLM.
0: O trecho não é útil de forma alguma, é irrelevante para o problema.
1: O trecho é ligeiramente útil, contém informações relevantes para o problema, mas é mais fácil escrever a solução do zero.
2: O trecho é um pouco útil, requer mudanças significativas (comparado ao tamanho do trecho), mas ainda é útil.
3: O trecho é útil, mas precisa ser ligeiramente alterado para resolver o problema.
4: O trecho é muito útil, resolve o problema.
Média Pontuação de Correção Funcional: Pontuação média da correção funcional das saídas do modelo, avaliando quão bem as saídas atendem aos requisitos funcionais, avaliadas por um modelo LLM.
0 (falhando todos os testes possíveis): O trecho de código é totalmente incorreto e sem sentido.
4 (passando todos os testes possíveis): O trecho de código é totalmente correto e pode lidar com todos os casos.
Last updated