LLM 评估报告
Last updated
Last updated
o1-preview
2025-04-02
3264.19
134
0.320351
3.60976
3.59756
o1-mini
2025-04-02
964.977
129
0.336816
3.69512
3.75
gpt-4o
2025-04-02
228.668
128
0.310692
3.71951
3.67073
gpt-4o-mini
2025-04-02
248.679
116
0.321981
3.62805
3.61585
claude-3-5-sonnet-20240620
2025-04-02
276.394
108
0.30484
3.67683
3.66463
claude-3-5-sonnet-20241022
2025-04-02
291.706
112
0.328969
3.68902
3.70732
gemini-1.5-pro
2025-04-02
518.354
103
0.327295
3.46951
3.41463
gemini-1.5-flash
2025-04-02
763.949
0
0.261228
0.792683
1.32317
总响应时间 (s): 模型生成所有输出所花费的总时间。
通过测试数量: 模型在评估期间通过的单元测试数量，总共有 164 个测试。
平均 : 平均 CodeBLEU 分数，是评估代码生成质量的指标，基于语法和语义的正确性。
平均 : 模型输出的有用性平均评分，由 LLM 模型评定。
0: 代码片段完全没有帮助，与问题无关。
1: 代码片段稍微有帮助，包含与问题相关的信息，但从头编写解决方案更容易。
2: 代码片段有些帮助，需要进行重大更改（与代码片段的大小相比），但仍然有用。
3: 代码片段有帮助，但需要稍微修改以解决问题。
4: 代码片段非常有帮助，能够解决问题。
平均 : 模型输出的功能正确性平均评分，评估输出满足功能要求的程度，由 LLM 模型评定。
0 (未通过所有可能的测试): 代码片段完全错误且毫无意义。
4 (通过所有可能的测试): 代码片段完全正确，能够处理所有情况。