Informe de Evaluación de LLM
gpt-5.4
2026-03-18
371.302
151
0.30016
3.85976
3.88415
gpt-5
2026-03-18
3307.15
160
0.312013
3.71951
3.82927
gpt-5-mini
2026-03-18
2223.12
161
0.305418
3.79268
3.93293
claude-opus-4-6
2026-03-18
630.643
164
0.38829
3.87195
3.90854
claude-sonnet-4-6
2026-03-18
604.89
161
0.379059
3.85366
3.90854
claude-opus-4-1
2026-03-18
635.166
157
0.349491
3.85366
3.92683
claude-sonnet-4-5
2026-03-18
546.74
162
0.331766
3.89024
3.95732
claude-haiku-4-5
2026-03-18
280.497
154
0.317284
3.84756
3.92073
gemini-3.1-pro-preview
2026-03-18
3339.78
162
0.395161
3.73171
3.82317
gemini-3.1-flash-lite-preview
2026-03-18
176.493
148
0.370935
3.77439
3.87805
gemini-3-flash-preview
2026-03-18
2146.97
142
0.395257
3.59146
3.60366
gemini-2.5-pro
2026-03-18
2788.94
118
0.373488
3.2561
3.38415
gemini-2.5-flash
2026-03-18
952.543
148
0.338621
3.7439
3.83537
Tiempo Total de Respuesta (s): El tiempo total que tomó al modelo generar todas las salidas.
Pruebas aprobadas: El número de pruebas unitarias que el modelo ha aprobado durante la evaluación, de un total de 164 pruebas.
Media CodeBLEU: Puntuación promedio de CodeBLEU, una métrica para evaluar la calidad de generación de código basada en la corrección sintáctica y semántica.
Media Puntuación de Utilidad: Calificación promedio de la utilidad de la salida del modelo según lo evaluado por un modelo LLM.
0: El fragmento no es útil en absoluto, es irrelevante para el problema.
1: El fragmento es ligeramente útil, contiene información relevante para el problema, pero es más fácil escribir la solución desde cero.
2: El fragmento es algo útil, requiere cambios significativos (en comparación con el tamaño del fragmento), pero sigue siendo útil.
3: El fragmento es útil, pero necesita ser ligeramente modificado para resolver el problema.
4: El fragmento es muy útil, resuelve el problema.
Media Puntuación de Corrección Funcional: Puntuación promedio de la corrección funcional de las salidas del modelo, evaluando qué tan bien las salidas cumplen con los requisitos funcionales, evaluadas por un modelo LLM.
0 (fallando todas las pruebas posibles): El fragmento de código es totalmente incorrecto y sin sentido.
4 (aprobando todas las pruebas posibles): El fragmento de código es totalmente correcto y puede manejar todos los casos.
Última actualización