Báo cáo Đánh giá LLM
Last updated
Last updated
claude-opus-4-20250514
2025-05-27
682.341
45
0.373498
3.68902
3.71951
claude-sonnet-4-20250514
2025-05-27
685.546
112
0.317174
3.7378
3.65854
claude-3-7-sonnet-20250219
2025-05-27
746.497
108
0.319258
3.65244
3.65244
claude-3-5-sonnet-20241022
2025-05-27
445.549
114
0.332094
3.65244
3.72561
gpt-4.1
2025-05-27
340.45
114
0.345565
3.71951
3.79878
o4-mini
2025-05-27
1380.26
128
0.322408
3.70122
3.7439
o3
2025-05-27
1592.45
141
0.314449
3.71341
3.85366
gpt-4o
2025-05-27
254.478
123
0.305002
3.70732
3.7378
gemini_gemini-2.0-flash
2025-05-27
428.324
102
0.304022
3.65244
3.60976
gemini_gemini-2.5-pro-preview-05-06
2025-05-27
1317.42
71
0.319577
2.45732
2.67683
gemini_gemini-2.5-flash-preview-05-20
2025-05-27
1042.03
108
0.32728
3.39024
3.46341
Thời gian Phản hồi Tổng (s): Thời gian tổng cộng mà mô hình đã sử dụng để tạo ra tất cả các đầu ra.
Số bài kiểm tra đã vượt qua: Số lượng bài kiểm tra đơn vị mà mô hình đã vượt qua trong quá trình đánh giá, trong tổng số 164 bài kiểm tra.
Điểm Trung bình: Điểm CodeBLEU trung bình, một chỉ số để đánh giá chất lượng tạo mã dựa trên cả độ chính xác cú pháp và ngữ nghĩa.
Điểm : Điểm đánh giá trung bình về tính hữu ích của đầu ra của mô hình theo đánh giá của một mô hình LLM.
0: Đoạn mã hoàn toàn không hữu ích, không liên quan đến vấn đề.
1: Đoạn mã hơi hữu ích, nó chứa thông tin liên quan đến vấn đề, nhưng dễ dàng hơn để viết giải pháp từ đầu.
2: Đoạn mã có phần hữu ích, nó cần thay đổi đáng kể (so với kích thước của đoạn mã), nhưng vẫn hữu ích.
3: Đoạn mã hữu ích, nhưng cần thay đổi một chút để giải quyết vấn đề.
4: Đoạn mã rất hữu ích, nó giải quyết được vấn đề.
0 (thất bại tất cả các bài kiểm tra có thể): Đoạn mã hoàn toàn sai và vô nghĩa.
4 (vượt qua tất cả các bài kiểm tra có thể): Đoạn mã hoàn toàn đúng và có thể xử lý tất cả các trường hợp.
Điểm : Điểm trung bình về độ đúng chức năng của các đầu ra của mô hình, đánh giá mức độ mà các đầu ra đáp ứng các yêu cầu chức năng, được đánh giá bởi một mô hình LLM.