LLM 評估報告
gpt-5
2025-10-01
2864.33
161
0.307856
3.84756
3.84756
gpt-5-mini
2025-10-01
2529.73
160
0.309437
3.88415
3.92073
gpt-5-nano
2025-10-01
1681.91
152
0.305554
3.82927
3.85366
gpt-4.1
2025-10-01
252.895
156
0.337819
3.89634
3.92073
claude-opus-4-1-20250805
2025-10-01
761.552
161
0.35051
3.87195
3.92683
claude-opus-4-20250514
2025-10-01
705.543
159
0.347384
3.86585
3.93293
claude-sonnet-4-5-20250929
2025-10-01
632.707
162
0.335302
3.95122
3.96341
claude-sonnet-4-20250514
2025-10-01
578.039
161
0.321841
3.90854
3.95732
gemini-2.5-pro
2025-10-01
3375.77
141
0.365963
3.82927
3.90244
gemini-2.5-flash
2025-10-01
1324.6
151
0.331303
3.84756
3.92683
總回應時間 (秒): 模型生成所有輸出的總時間。
通過測試數: 模型在評估期間通過的單元測試數量,總共 164 個測試。
平均 CodeBLEU: 平均 CodeBLEU 分數,評估基於語法和語義正確性的代碼生成質量的指標。
平均 有用性評分: 模型輸出有用性的平均評分,由 LLM 模型評定。
0: 片段完全無幫助,與問題無關。
1: 片段稍微有幫助,包含與問題相關的信息,但從頭開始寫解決方案更容易。
2: 片段有些有幫助,需要進行重大更改(與片段的大小相比),但仍然有用。
3: 片段有幫助,但需要稍微改動以解決問題。
4: 片段非常有幫助,能解決問題。
平均 功能正確性評分: 模型輸出功能正確性的平均分數,評估輸出滿足功能需求的程度,由 LLM 模型評定。
0(未通過所有可能的測試): 代碼片段完全不正確且毫無意義。
4(通過所有可能的測試): 代碼片段完全正確,能處理所有情況。
Last updated