LLM 評估報告
| 模型 | 日期 | 總回應時間 (秒) | 通過測試數 | 平均 CodeBLEU (0-1) | 平均有用性評分 (0-4) | 平均功能正確性評分 (0-4) |
|---|---|---|---|---|---|---|
o1-preview | 2024-11-20 | 2006 | 131 | 0.316933 | 3.60366 | 3.64024 |
o1-mini | 2024-11-20 | 680.368 | 133 | 0.342896 | 3.68293 | 3.7561 |
gpt-4o | 2024-11-20 | 354.689 | 126 | 0.322102 | 3.7378 | 3.75 |
gpt-4o-mini | 2024-11-20 | 201.423 | 112 | 0.33042 | 3.67073 | 3.72561 |
claude-3-5-sonnet-20240620 | 2024-11-20 | 318.568 | 111 | 0.306173 | 3.66463 | 3.64024 |
claude-3-5-sonnet-20241022 | 2024-11-20 | 327.833 | 109 | 0.327235 | 3.65854 | 3.64634 |
gemini-1.5-pro | 2024-11-20 | 516.921 | 92 | 0.333394 | 3.5061 | 3.5122 |
gemini-1.5-flash | 2024-11-20 | 759.693 | 2 | 0.270065 | 0.670732 | 0.829268 |
總回應時間 (秒): 模型生成所有輸出的總時間。
通過測試數: 模型在評估期間通過的單元測試數量，總共 164 個測試。
平均 CodeBLEU: 平均 CodeBLEU 分數，評估基於語法和語義正確性的代碼生成質量的指標。
平均 有用性評分: 模型輸出有用性的平均評分，由 LLM 模型評定。
0: 片段完全無幫助，與問題無關。
1: 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案更容易。
2: 片段有些有幫助，需要進行重大更改（與片段的大小相比），但仍然有用。
3: 片段有幫助，但需要稍微更改以解決問題。
4: 片段非常有幫助，能解決問題。
平均 功能正確性評分: 模型輸出功能正確性的平均分數，評估輸出滿足功能要求的程度，由 LLM 模型評定。
0 (未通過所有可能的測試): 代碼片段完全錯誤且毫無意義。
4 (通過所有可能的測試): 代碼片段完全正確，能處理所有情況。
Last updated