LLM 評估報告
Last updated
Last updated
o1-preview
2025-04-02
3264.19
134
0.320351
3.60976
3.59756
o1-mini
2025-04-02
964.977
129
0.336816
3.69512
3.75
gpt-4o
2025-04-02
228.668
128
0.310692
3.71951
3.67073
gpt-4o-mini
2025-04-02
248.679
116
0.321981
3.62805
3.61585
claude-3-5-sonnet-20240620
2025-04-02
276.394
108
0.30484
3.67683
3.66463
claude-3-5-sonnet-20241022
2025-04-02
291.706
112
0.328969
3.68902
3.70732
gemini-1.5-pro
2025-04-02
518.354
103
0.327295
3.46951
3.41463
gemini-1.5-flash
2025-04-02
763.949
0
0.261228
0.792683
1.32317
總回應時間 (秒)： 模型生成所有輸出的總時間。
通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。
平均 ： 平均 CodeBLEU 分數，評估基於語法和語義正確性的代碼生成質量的指標。
平均 ： LLM 模型評估的模型輸出有用性的平均評分。
0： 片段完全無幫助，與問題無關。
1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案更容易。
2： 片段有點有幫助，需要進行重大更改（相對於片段的大小），但仍然有用。
3： 片段有幫助，但需要稍微改變以解決問題。
4： 片段非常有幫助，解決了問題。
平均 ： 模型輸出的功能正確性的平均分數，評估輸出滿足功能要求的程度，由 LLM 模型評估。
0（未通過所有可能的測試）： 代碼片段完全錯誤且毫無意義。
4（通過所有可能的測試）： 代碼片段完全正確，能處理所有情況。