LLM 評估報告
| 模型 | 日期 | 總回應時間 (秒) | 通過測試數 | 平均 CodeBLEU (0-1) | 平均有用性評分 (0-4) | 平均功能正確性評分 (0-4) |
|---|---|---|---|---|---|---|
o1-preview | 2024-11-21 | 2208.03 | 132 | 0.321908 | 3.60976 | 3.64024 |
o1-mini | 2024-11-21 | 718.012 | 134 | 0.322883 | 3.65244 | 3.7561 |
gpt-4o | 2024-11-21 | 321.525 | 125 | 0.316051 | 3.70732 | 3.7439 |
gpt-4o-mini | 2024-11-21 | 191.192 | 114 | 0.339313 | 3.62805 | 3.69512 |
claude-3-5-sonnet-20240620 | 2024-11-21 | 335.662 | 113 | 0.303122 | 3.60366 | 3.62195 |
claude-3-5-sonnet-20241022 | 2024-11-21 | 351.938 | 110 | 0.321726 | 3.67073 | 3.67683 |
gemini-1.5-pro | 2024-11-21 | 528.459 | 106 | 0.340196 | 3.43293 | 3.5061 |
gemini-1.5-flash | 2024-11-21 | 759.693 | 2 | 0.270065 | 0.670732 | 0.829268 |
總回應時間 (秒)： 模型生成所有輸出的總時間。
通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。
平均 CodeBLEU： 平均 CodeBLEU 分數，這是一種基於語法和語義正確性評估代碼生成質量的指標。
平均 有用性評分： 模型輸出有用性的平均評分，由 LLM 模型評定。
0： 片段完全沒有幫助，與問題無關。
1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案更容易。
2： 片段有些有幫助，需要進行重大更改（與片段的大小相比），但仍然有用。
3： 片段有幫助，但需要稍微改動以解決問題。
4： 片段非常有幫助，解決了問題。
平均 功能正確性評分： 模型輸出功能正確性的平均分數，評估輸出滿足功能需求的程度，由 LLM 模型評定。
0（未通過所有可能的測試）： 代碼片段完全不正確且毫無意義。
4（通過所有可能的測試）： 代碼片段完全正確，能處理所有情況。
Last updated