LLM 評估報告

模型	日期	總回應時間 (秒)	通過測試數	平均 CodeBLEU (0-1)	平均有用性評分 (0-4)	平均功能正確性評分 (0-4)
o1-preview	2025-01-21	2379.88	131	0.317852	3.62805	3.62805
o1-mini	2025-01-21	933.915	128	0.326939	3.68293	3.77439
gpt-4o	2025-01-21	317.122	121	0.321377	3.75	3.7622
gpt-4o-mini	2025-01-21	309.799	117	0.338521	3.68902	3.75
claude-3-5-sonnet-20240620	2025-01-21	244.255	111	0.298804	3.62805	3.65244
claude-3-5-sonnet-20241022	2025-01-21	254.239	115	0.312278	3.70732	3.66463
gemini-1.5-pro	2025-01-21	507.246	101	0.335308	3.48171	3.47561
gemini-1.5-flash	2025-01-21	764.864	2	0.267744	0.689024	0.914634

總回應時間 (秒)： 模型生成所有輸出的總時間。

通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。

平均 CodeBLEU： 平均 CodeBLEU 分數，是一種基於語法和語義正確性評估代碼生成質量的指標。

平均 有用性評分： 模型輸出有用性的平均評分，由 LLM 模型評定。

• 0： 片段完全沒有幫助，與問題無關。

• 1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始編寫解決方案會更容易。

• 2： 片段有些有幫助，需要進行重大更改（相對於片段的大小），但仍然有用。

• 3： 片段有幫助，但需要稍微改動才能解決問題。

• 4： 片段非常有幫助，能解決問題。

平均 功能正確性評分： 模型輸出功能正確性的平均分數，評估輸出滿足功能要求的程度，由 LLM 模型評定。

• 0（所有可能測試均失敗）： 代碼片段完全錯誤且毫無意義。

• 4（所有可能測試均通過）： 代碼片段完全正確，能處理所有情況。