LLM 评估报告
o1-preview
2025-03-31
3046.11
126
0.318544
3.56707
3.64024
o1-mini
2025-03-31
882.601
131
0.329601
3.72561
3.79878
gpt-4o
2025-03-31
184.54
128
0.306611
3.75
3.76829
gpt-4o-mini
2025-03-31
226.728
118
0.342398
3.64634
3.73171
claude-3-5-sonnet-20240620
2025-03-31
284.186
108
0.301769
3.64634
3.63415
claude-3-5-sonnet-20241022
2025-03-31
309.034
117
0.325797
3.73171
3.71951
gemini-1.5-pro
2025-03-31
516.334
100
0.339682
3.55488
3.48171
gemini-1.5-flash
2025-03-31
758.837
0
0.266851
0.829268
1.26829
总响应时间 (秒): 模型生成所有输出所花费的总时间。
通过的测试: 模型在评估期间通过的单元测试数量,总共164个测试。
平均 CodeBLEU: 平均 CodeBLEU 分数,是评估代码生成质量的指标,基于语法和语义的正确性。
平均 有用性评分: 模型输出的有用性平均评分,由 LLM 模型评定。
0: 片段完全没有帮助,与问题无关。
1: 片段稍微有帮助,包含与问题相关的信息,但从头写解决方案更容易。
2: 片段有点帮助,需要进行重大修改(与片段的大小相比),但仍然有用。
3: 片段有帮助,但需要稍微修改以解决问题。
4: 片段非常有帮助,解决了问题。
平均 功能正确性评分: 模型输出的功能正确性的平均分,评估输出满足功能要求的程度,由 LLM 模型评定。
0(未通过所有可能的测试): 代码片段完全错误且毫无意义。
4(通过所有可能的测试): 代码片段完全正确,能够处理所有情况。
Last updated