Informe de Evaluación de LLM

Modelo	Fecha	Tiempo Total de Respuesta (s)	Pruebas Aprobadas	Media CodeBLEU (0-1)	Media de Puntuación de Utilidad (0-4)	Media de Puntuación de Corrección Funcional (0-4)
gpt-4o-mini	2024-10-15	288.593	113	0.336386	3.65854	3.62805
gemini-1.5-pro	2024-10-15	691.622	104	0.342204	3.47561	3.40854
claude-3-5-sonnet-20240620	2024-10-15	369.063	113	0.303837	3.67683	3.59146
gpt-4o	2024-10-15	323.43	127	0.319079	3.73171	3.60976
claude-3-opus-20240229	2024-10-15	1069.89	107	0.307076	3.68902	3.60976

Tiempo Total de Respuesta (s): El tiempo total que tomó el modelo para generar todas las salidas.

Pruebas aprobadas: El número de pruebas unitarias que el modelo ha aprobado durante la evaluación, de un total de 164 pruebas.

Media CodeBLEU: Puntuación promedio de CodeBLEU, una métrica para evaluar la calidad de la generación de código basada en la corrección sintáctica y semántica.

Media Puntuación de Utilidad: Calificación promedio de la utilidad de la salida del modelo según lo evaluado por un modelo LLM.

• 0: El fragmento no es útil en absoluto, es irrelevante para el problema.

• 1: El fragmento es ligeramente útil, contiene información relevante para el problema, pero es más fácil escribir la solución desde cero.

• 2: El fragmento es algo útil, requiere cambios significativos (en comparación con el tamaño del fragmento), pero sigue siendo útil.

• 3: El fragmento es útil, pero necesita ser ligeramente modificado para resolver el problema.

• 4: El fragmento es muy útil, resuelve el problema.

Media Puntuación de Corrección Funcional: Puntuación promedio de la corrección funcional de las salidas del modelo, evaluando qué tan bien las salidas cumplen con los requisitos funcionales, evaluadas por un modelo LLM.

• 0 (fallando todas las pruebas posibles): El fragmento de código es totalmente incorrecto y sin sentido.

• 4 (aprobando todas las pruebas posibles): El fragmento de código es totalmente correcto y puede manejar todos los casos.