LLM 评估报告
o1-preview
2025-03-31
3046.11
126
0.318544
3.56707
3.64024
o1-mini
2025-03-31
882.601
131
0.329601
3.72561
3.79878
gpt-4o
2025-03-31
184.54
128
0.306611
3.75
3.76829
gpt-4o-mini
2025-03-31
226.728
118
0.342398
3.64634
3.73171
claude-3-5-sonnet-20240620
2025-03-31
284.186
108
0.301769
3.64634
3.63415
claude-3-5-sonnet-20241022
2025-03-31
309.034
117
0.325797
3.73171
3.71951
gemini-1.5-pro
2025-03-31
516.334
100
0.339682
3.55488
3.48171
gemini-1.5-flash
2025-03-31
758.837
0
0.266851
0.829268
1.26829
总响应时间 (秒)： 模型生成所有输出所花费的总时间。
通过的测试： 模型在评估期间通过的单元测试数量，总共164个测试。
平均 CodeBLEU： 平均 CodeBLEU 分数，是评估代码生成质量的指标，基于语法和语义的正确性。
平均 有用性评分： 模型输出的有用性平均评分，由 LLM 模型评定。
0： 片段完全没有帮助，与问题无关。
1： 片段稍微有帮助，包含与问题相关的信息，但从头写解决方案更容易。
2： 片段有点帮助，需要进行重大修改（与片段的大小相比），但仍然有用。
3： 片段有帮助，但需要稍微修改以解决问题。
4： 片段非常有帮助，解决了问题。
平均 功能正确性评分： 模型输出的功能正确性的平均分，评估输出满足功能要求的程度，由 LLM 模型评定。
0（未通过所有可能的测试）： 代码片段完全错误且毫无意义。
4（通过所有可能的测试）： 代码片段完全正确，能够处理所有情况。
Last updated