تقرير تقييم LLM

النموذج	التاريخ	إجمالي وقت الاستجابة (ث)	الاختبارات الناجحة	متوسط CodeBLEU (0-1)	متوسط درجة الفائدة (0-4)	متوسط درجة الصحة الوظيفية (0-4)
o1-preview	2024-12-21	2222.02	135	0.315387	3.60366	3.62195
o1-mini	2024-12-21	742.336	128	0.34076	3.70122	3.71341
gpt-4o	2024-12-21	328.26	124	0.321923	3.70732	3.68293
gpt-4o-mini	2024-12-21	209.742	122	0.335439	3.64024	3.63415
claude-3-5-sonnet-20240620	2024-12-21	295.78	117	0.299314	3.66463	3.63415
claude-3-5-sonnet-20241022	2024-12-21	263.51	114	0.330973	3.67073	3.62805
gemini-1.5-pro	2024-12-21	507.269	94	0.347441	3.45122	3.43293
gemini-1.5-flash	2024-12-21	768.506	1	0.263737	0.628049	0.835366

إجمالي وقت الاستجابة (ث): الوقت الإجمالي الذي استغرقه النموذج لتوليد جميع المخرجات.

الاختبارات الناجحة: عدد اختبارات الوحدة التي اجتازها النموذج أثناء التقييم، من إجمالي 164 اختبارًا.

متوسط CodeBLEU: متوسط درجة CodeBLEU، وهو مقياس لتقييم جودة توليد الكود بناءً على كل من الصحة النحوية والدلالية.

متوسط درجة الفائدة: متوسط تقييم فائدة مخرجات النموذج كما تم تقييمه بواسطة نموذج LLM.

• 0: المقتطف غير مفيد على الإطلاق، فهو غير ذي صلة بالمشكلة.

• 1: المقتطف مفيد قليلاً، يحتوي على معلومات ذات صلة بالمشكلة، ولكن من الأسهل كتابة الحل من الصفر.

• 2: المقتطف مفيد إلى حد ما، يتطلب تغييرات كبيرة (مقارنة بحجم المقتطف)، ولكنه لا يزال مفيدًا.

• 3: المقتطف مفيد، ولكنه يحتاج إلى تغييرات طفيفة لحل المشكلة.

• 4: المقتطف مفيد جدًا، فهو يحل المشكلة.

متوسط درجة الصحة الوظيفية: متوسط درجة الصحة الوظيفية لمخرجات النموذج، يقيم مدى توافق المخرجات مع المتطلبات الوظيفية، كما تم تقييمه بواسطة نموذج LLM.

• 0 (يفشل في جميع الاختبارات الممكنة): المقتطف البرمجي غير صحيح تمامًا ولا معنى له.

• 4 (ينجح في جميع الاختبارات الممكنة): المقتطف البرمجي صحيح تمامًا ويمكنه التعامل مع جميع الحالات.