LLM 評估報告
o1-preview
2025-03-31
3046.11
126
0.318544
3.56707
3.64024
o1-mini
2025-03-31
882.601
131
0.329601
3.72561
3.79878
gpt-4o
2025-03-31
184.54
128
0.306611
3.75
3.76829
gpt-4o-mini
2025-03-31
226.728
118
0.342398
3.64634
3.73171
claude-3-5-sonnet-20240620
2025-03-31
284.186
108
0.301769
3.64634
3.63415
claude-3-5-sonnet-20241022
2025-03-31
309.034
117
0.325797
3.73171
3.71951
gemini-1.5-pro
2025-03-31
516.334
100
0.339682
3.55488
3.48171
gemini-1.5-flash
2025-03-31
758.837
0
0.266851
0.829268
1.26829
總回應時間 (秒)： 模型生成所有輸出的總時間。
通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。
平均 CodeBLEU： 平均 CodeBLEU 分數，這是一個基於語法和語義正確性評估代碼生成質量的指標。
平均 有用性評分： 模型輸出有用性的平均評分，由 LLM 模型評定。
0： 片段完全無幫助，與問題無關。
1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案會更容易。
2： 片段有些有幫助，需要進行重大更改（與片段的大小相比），但仍然有用。
3： 片段有幫助，但需要稍微改變才能解決問題。
4： 片段非常有幫助，能解決問題。
平均 功能正確性評分： 模型輸出功能正確性的平均分數，評估輸出滿足功能需求的程度，由 LLM 模型評定。
0（未通過所有可能的測試）： 代碼片段完全不正確且毫無意義。
4（通過所有可能的測試）： 代碼片段完全正確，能處理所有情況。
Last updated