Informe de Evaluación de LLM

Modelo
Fecha
Tiempo Total de Respuesta (s)
Pruebas Aprobadas
Media CodeBLEU (0-1)
Media de Puntuación de Utilidad (0-4)
Media de Puntuación de Corrección Funcional (0-4)

claude-opus-4-20250514

2025-05-27

682.341

45

0.373498

3.68902

3.71951

claude-sonnet-4-20250514

2025-05-27

685.546

112

0.317174

3.7378

3.65854

claude-3-7-sonnet-20250219

2025-05-27

746.497

108

0.319258

3.65244

3.65244

claude-3-5-sonnet-20241022

2025-05-27

445.549

114

0.332094

3.65244

3.72561

gpt-4.1

2025-05-27

340.45

114

0.345565

3.71951

3.79878

o4-mini

2025-05-27

1380.26

128

0.322408

3.70122

3.7439

o3

2025-05-27

1592.45

141

0.314449

3.71341

3.85366

gpt-4o

2025-05-27

254.478

123

0.305002

3.70732

3.7378

gemini_gemini-2.0-flash

2025-05-27

428.324

102

0.304022

3.65244

3.60976

gemini_gemini-2.5-pro-preview-05-06

2025-05-27

1317.42

71

0.319577

2.45732

2.67683

gemini_gemini-2.5-flash-preview-05-20

2025-05-27

1042.03

108

0.32728

3.39024

3.46341

Tiempo Total de Respuesta (s): El tiempo total que tomó el modelo para generar todas las salidas.

Pruebas aprobadas: El número de pruebas unitarias que el modelo ha aprobado durante la evaluación, de un total de 164 pruebas.

Media CodeBLEU: Puntuación promedio de CodeBLEU, una métrica para evaluar la calidad de la generación de código basada en la corrección sintáctica y semántica.

Media Puntuación de Utilidad: Calificación promedio de la utilidad de la salida del modelo según lo evaluado por un modelo LLM.

  • 0: El fragmento no es útil en absoluto, es irrelevante para el problema.

  • 1: El fragmento es ligeramente útil, contiene información relevante para el problema, pero es más fácil escribir la solución desde cero.

  • 2: El fragmento es algo útil, requiere cambios significativos (en comparación con el tamaño del fragmento), pero sigue siendo útil.

  • 3: El fragmento es útil, pero necesita ser ligeramente modificado para resolver el problema.

  • 4: El fragmento es muy útil, resuelve el problema.

Media Puntuación de Corrección Funcional: Puntuación promedio de la corrección funcional de las salidas del modelo, evaluando qué tan bien las salidas cumplen con los requisitos funcionales, evaluadas por un modelo LLM.

  • 0 (fallando todas las pruebas posibles): El fragmento de código es totalmente incorrecto y sin sentido.

  • 4 (aprobando todas las pruebas posibles): El fragmento de código es totalmente correcto y puede manejar todos los casos.

Última actualización