LLM 評估報告

模型	日期	總回應時間 (秒)	通過測試數	平均 CodeBLEU (0-1)	平均有用性評分 (0-4)	平均功能正確性評分 (0-4)
gpt-5	2025-10-01	2864.33	161	0.307856	3.84756	3.84756
gpt-5-mini	2025-10-01	2529.73	160	0.309437	3.88415	3.92073
gpt-5-nano	2025-10-01	1681.91	152	0.305554	3.82927	3.85366
gpt-4.1	2025-10-01	252.895	156	0.337819	3.89634	3.92073
claude-opus-4-1-20250805	2025-10-01	761.552	161	0.35051	3.87195	3.92683
claude-opus-4-20250514	2025-10-01	705.543	159	0.347384	3.86585	3.93293
claude-sonnet-4-5-20250929	2025-10-01	632.707	162	0.335302	3.95122	3.96341
claude-sonnet-4-20250514	2025-10-01	578.039	161	0.321841	3.90854	3.95732
gemini-2.5-pro	2025-10-01	3375.77	141	0.365963	3.82927	3.90244
gemini-2.5-flash	2025-10-01	1324.6	151	0.331303	3.84756	3.92683

總回應時間 (秒)： 模型生成所有輸出的總時間。

通過測試數： 模型在評估期間通過的單元測試數量，總共 164 個測試。

平均 CodeBLEU： 平均 CodeBLEU 分數，評估基於語法和語義正確性的代碼生成質量的指標。

平均 有用性評分： 模型輸出有用性的平均評分，由 LLM 模型評定。

• 0： 片段完全無幫助，與問題無關。

• 1： 片段稍微有幫助，包含與問題相關的信息，但從頭開始寫解決方案更容易。

• 2： 片段有些有幫助，需要進行重大更改（與片段的大小相比），但仍然有用。

• 3： 片段有幫助，但需要稍微改動以解決問題。

• 4： 片段非常有幫助，能解決問題。

平均 功能正確性評分： 模型輸出功能正確性的平均分數，評估輸出滿足功能需求的程度，由 LLM 模型評定。

• 0（未通過所有可能的測試）： 代碼片段完全不正確且毫無意義。

• 4（通過所有可能的測試）： 代碼片段完全正確，能處理所有情況。