LLM 評估報告¶
| 模型 | 日期 | 總回應時間 (秒) | 通過測試數 | 平均 CodeBLEU (0-1) | 平均有用性評分 (0-4) | 平均功能正確性評分 (0-4) |
|---|---|---|---|---|---|---|
| gpt-5.4 | 2026-03-18 | 371.302 | 151 | 0.30016 | 3.85976 | 3.88415 |
| gpt-5 | 2026-03-18 | 3307.15 | 160 | 0.312013 | 3.71951 | 3.82927 |
| gpt-5-mini | 2026-03-18 | 2223.12 | 161 | 0.305418 | 3.79268 | 3.93293 |
| claude-opus-4-6 | 2026-03-18 | 630.643 | 164 | 0.38829 | 3.87195 | 3.90854 |
| claude-sonnet-4-6 | 2026-03-18 | 604.89 | 161 | 0.379059 | 3.85366 | 3.90854 |
| claude-opus-4-1 | 2026-03-18 | 635.166 | 157 | 0.349491 | 3.85366 | 3.92683 |
| claude-sonnet-4-5 | 2026-03-18 | 546.74 | 162 | 0.331766 | 3.89024 | 3.95732 |
| claude-haiku-4-5 | 2026-03-18 | 280.497 | 154 | 0.317284 | 3.84756 | 3.92073 |
| gemini-3.1-pro-preview | 2026-03-18 | 3339.78 | 162 | 0.395161 | 3.73171 | 3.82317 |
| gemini-3.1-flash-lite-preview | 2026-03-18 | 176.493 | 148 | 0.370935 | 3.77439 | 3.87805 |
| gemini-3-flash-preview | 2026-03-18 | 2146.97 | 142 | 0.395257 | 3.59146 | 3.60366 |
| gemini-2.5-pro | 2026-03-18 | 2788.94 | 118 | 0.373488 | 3.2561 | 3.38415 |
| gemini-2.5-flash | 2026-03-18 | 952.543 | 148 | 0.338621 | 3.7439 | 3.83537 |
總回應時間 (秒)： 模型生成所有輸出的總時間。
通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。
平均 CodeBLEU： 平均 CodeBLEU 分數，評估基於語法和語義正確性的代碼生成質量的指標。
平均 有用性評分： 模型輸出有用性的平均評分，由 LLM 模型評定。
- 0： 片段完全無幫助，與問題無關。
- 1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案更容易。
- 2： 片段有些有幫助，需要進行重大更改（與片段的大小相比），但仍然有用。
- 3： 片段有幫助，但需要稍微改變以解決問題。
- 4： 片段非常有幫助，解決了問題。
平均 功能正確性評分： 模型輸出功能正確性的平均分數，評估輸出滿足功能要求的程度，由 LLM 模型評定。
- 0（未通過所有可能的測試）： 代碼片段完全錯誤且毫無意義。
- 4（通過所有可能的測試）： 代碼片段完全正確，能處理所有情況。