LLM Bewertungsbericht

Modell	Datum	Gesamte Antwortzeit (s)	Bestehende Tests	Durchschnittlicher CodeBLEU (0-1)	Durchschnittlicher Nützlichkeitswert (0-4)	Durchschnittlicher funktionaler Korrektheitswert (0-4)
claude-opus-4-20250514	2025-05-27	682.341	45	0.373498	3.68902	3.71951
claude-sonnet-4-20250514	2025-05-27	685.546	112	0.317174	3.7378	3.65854
claude-3-7-sonnet-20250219	2025-05-27	746.497	108	0.319258	3.65244	3.65244
claude-3-5-sonnet-20241022	2025-05-27	445.549	114	0.332094	3.65244	3.72561
gpt-4.1	2025-05-27	340.45	114	0.345565	3.71951	3.79878
o4-mini	2025-05-27	1380.26	128	0.322408	3.70122	3.7439
o3	2025-05-27	1592.45	141	0.314449	3.71341	3.85366
gpt-4o	2025-05-27	254.478	123	0.305002	3.70732	3.7378
gemini_gemini-2.0-flash	2025-05-27	428.324	102	0.304022	3.65244	3.60976
gemini_gemini-2.5-pro-preview-05-06	2025-05-27	1317.42	71	0.319577	2.45732	2.67683
gemini_gemini-2.5-flash-preview-05-20	2025-05-27	1042.03	108	0.32728	3.39024	3.46341

Gesamte Antwortzeit (s): Die gesamte Zeit, die das Modell benötigt hat, um alle Ausgaben zu generieren.

Bestehende Tests: Die Anzahl der Unit-Tests, die das Modell während der Bewertung bestanden hat, von insgesamt 164 Tests.

Durchschnittlicher CodeBLEU: Durchschnittlicher CodeBLEU-Wert, eine Metrik zur Bewertung der Qualität der Codegenerierung basierend auf syntaktischer und semantischer Korrektheit.

Durchschnittlicher Nützlichkeitswert: Durchschnittliche Bewertung der Nützlichkeit der Ausgaben des Modells, bewertet durch ein LLM-Modell.

• 0: Snippet ist überhaupt nicht hilfreich, es ist irrelevant für das Problem.

• 1: Snippet ist leicht hilfreich, es enthält Informationen, die für das Problem relevant sind, aber es ist einfacher, die Lösung von Grund auf neu zu schreiben.

• 2: Snippet ist einigermaßen hilfreich, es erfordert erhebliche Änderungen (im Vergleich zur Größe des Snippets), ist aber dennoch nützlich.

• 3: Snippet ist hilfreich, muss aber leicht geändert werden, um das Problem zu lösen.

• 4: Snippet ist sehr hilfreich, es löst das Problem.

Durchschnittlicher funktionaler Korrektheitswert: Durchschnittlicher Wert der funktionalen Korrektheit der Ausgaben des Modells, bewertet, wie gut die Ausgaben die funktionalen Anforderungen erfüllen, bewertet durch ein LLM-Modell.

• 0 (alle möglichen Tests nicht bestanden): Der Code-Snippet ist völlig falsch und bedeutungslos.

• 4 (alle möglichen Tests bestanden): Der Code-Snippet ist völlig korrekt und kann alle Fälle behandeln.