Relatório de Avaliação de LLM
Modelo | Data | Tempo Total de Resposta (s) | Testes Aprovados | Média CodeBLEU (0-1) | Média de Pontuação de Utilidade (0-4) | Média de Pontuação de Correção Funcional (0-4) |
---|---|---|---|---|---|---|
gpt-4o-mini | 2024-10-18 | 180.098 | 113 | 0.331988 | 3.66463 | 3.65854 |
gemini-1.5-pro | 2024-10-18 | 533.694 | 104 | 0.338663 | 3.55488 | 3.59756 |
claude-3-5-sonnet-20240620 | 2024-10-18 | 339.244 | 112 | 0.300819 | 3.68293 | 3.65854 |
gpt-4o | 2024-10-18 | 201.997 | 128 | 0.314057 | 3.75 | 3.71951 |
o1-mini | 2024-10-18 | 773.989 | 130 | 0.335063 | 3.71951 | 3.71951 |
o1-preview | 2024-10-18 | 2207.5 | 127 | 0.322271 | 3.60366 | 3.60976 |
claude-3-opus-20240229 | 2024-10-18 | 1056.03 | 114 | 0.322514 | 3.7439 | 3.67683 |
Tempo Total de Resposta (s): O tempo total levado pelo modelo para gerar todas as saídas.
Testes aprovados: O número de testes unitários que o modelo passou durante a avaliação, de um total de 164 testes.
Média CodeBLEU: Pontuação média de CodeBLEU, uma métrica para avaliar a qualidade da geração de código com base na correção sintática e semântica.
Média Pontuação de Utilidade: Avaliação média da utilidade das saídas do modelo, conforme avaliado por um modelo LLM.
0: O trecho não é útil de forma alguma, é irrelevante para o problema.
1: O trecho é ligeiramente útil, contém informações relevantes para o problema, mas é mais fácil escrever a solução do zero.
2: O trecho é um pouco útil, requer mudanças significativas (comparado ao tamanho do trecho), mas ainda é útil.
3: O trecho é útil, mas precisa ser ligeiramente alterado para resolver o problema.
4: O trecho é muito útil, resolve o problema.
Média Pontuação de Correção Funcional: Pontuação média da correção funcional das saídas do modelo, avaliando quão bem as saídas atendem aos requisitos funcionais, avaliadas por um modelo LLM.
0 (falhando todos os testes possíveis): O trecho de código é totalmente incorreto e sem sentido.
4 (passando todos os testes possíveis): O trecho de código é totalmente correto e pode lidar com todos os casos.
Last updated