LLM 評估報告
模型 | 日期 | 總回應時間 (秒) | 通過測試數 | 平均 CodeBLEU (0-1) | 平均有用性評分 (0-4) | 平均功能正確性評分 (0-4) |
---|---|---|---|---|---|---|
gpt-4o-mini | 2024-10-18 | 180.098 | 113 | 0.331988 | 3.66463 | 3.65854 |
gemini-1.5-pro | 2024-10-18 | 533.694 | 104 | 0.338663 | 3.55488 | 3.59756 |
claude-3-5-sonnet-20240620 | 2024-10-18 | 339.244 | 112 | 0.300819 | 3.68293 | 3.65854 |
gpt-4o | 2024-10-18 | 201.997 | 128 | 0.314057 | 3.75 | 3.71951 |
o1-mini | 2024-10-18 | 773.989 | 130 | 0.335063 | 3.71951 | 3.71951 |
o1-preview | 2024-10-18 | 2207.5 | 127 | 0.322271 | 3.60366 | 3.60976 |
claude-3-opus-20240229 | 2024-10-18 | 1056.03 | 114 | 0.322514 | 3.7439 | 3.67683 |
總回應時間 (秒): 模型生成所有輸出的總時間。
通過測試數: 模型在評估期間通過的單元測試數量,總共 164 個測試。
平均 CodeBLEU: 平均 CodeBLEU 分數,評估基於語法和語義正確性的代碼生成質量的指標。
平均 有用性評分: LLM 模型評估的模型輸出有用性的平均評分。
0: 片段完全無幫助,與問題無關。
1: 片段稍微有幫助,包含與問題相關的信息,但從頭寫解決方案更容易。
2: 片段有些有幫助,需要進行重大更改(與片段大小相比),但仍然有用。
3: 片段有幫助,但需要稍微更改以解決問題。
4: 片段非常有幫助,解決了問題。
平均 功能正確性評分: 評估模型輸出功能正確性的平均分數,評估輸出滿足功能要求的程度,由 LLM 模型評估。
0(未通過所有可能的測試): 代碼片段完全不正確且毫無意義。
4(通過所有可能的測試): 代碼片段完全正確,能處理所有情況。
Last updated