LLM 评估报告¶
| 模型 | 日期 | 总响应时间 (秒) | 通过测试数量 | 平均 CodeBLEU (0-1) | 平均有用性评分 (0-4) | 平均功能正确性评分 (0-4) |
|---|---|---|---|---|---|---|
| gpt-5.4 | 2026-03-18 | 371.302 | 151 | 0.30016 | 3.85976 | 3.88415 |
| gpt-5 | 2026-03-18 | 3307.15 | 160 | 0.312013 | 3.71951 | 3.82927 |
| gpt-5-mini | 2026-03-18 | 2223.12 | 161 | 0.305418 | 3.79268 | 3.93293 |
| claude-opus-4-6 | 2026-03-18 | 630.643 | 164 | 0.38829 | 3.87195 | 3.90854 |
| claude-sonnet-4-6 | 2026-03-18 | 604.89 | 161 | 0.379059 | 3.85366 | 3.90854 |
| claude-opus-4-1 | 2026-03-18 | 635.166 | 157 | 0.349491 | 3.85366 | 3.92683 |
| claude-sonnet-4-5 | 2026-03-18 | 546.74 | 162 | 0.331766 | 3.89024 | 3.95732 |
| claude-haiku-4-5 | 2026-03-18 | 280.497 | 154 | 0.317284 | 3.84756 | 3.92073 |
| gemini-3.1-pro-preview | 2026-03-18 | 3339.78 | 162 | 0.395161 | 3.73171 | 3.82317 |
| gemini-3.1-flash-lite-preview | 2026-03-18 | 176.493 | 148 | 0.370935 | 3.77439 | 3.87805 |
| gemini-3-flash-preview | 2026-03-18 | 2146.97 | 142 | 0.395257 | 3.59146 | 3.60366 |
| gemini-2.5-pro | 2026-03-18 | 2788.94 | 118 | 0.373488 | 3.2561 | 3.38415 |
| gemini-2.5-flash | 2026-03-18 | 952.543 | 148 | 0.338621 | 3.7439 | 3.83537 |
总响应时间 (秒)： 模型生成所有输出所花费的总时间。
通过测试数量： 模型在评估过程中通过的单元测试数量，总共 164 个测试。
平均 CodeBLEU： 平均 CodeBLEU 分数，是评估代码生成质量的指标，基于语法和语义的正确性。
平均 有用性评分： 模型输出的有用性平均评分，由 LLM 模型评定。
- 0： 片段完全没有帮助，与问题无关。
- 1： 片段稍微有帮助，包含与问题相关的信息，但从头写解决方案更容易。
- 2： 片段有些帮助，需要进行重大更改（与片段的大小相比），但仍然有用。
- 3： 片段有帮助，但需要稍微修改才能解决问题。
- 4： 片段非常有帮助，解决了问题。
平均 功能正确性评分： 模型输出的功能正确性平均评分，评估输出满足功能要求的程度，由 LLM 模型评定。
- 0（未通过所有可能的测试）： 代码片段完全错误且毫无意义。
- 4（通过所有可能的测试）： 代码片段完全正确，能够处理所有情况。