LLM-Evaluierungsbericht
o1-preview
2025-03-31
3046.11
126
0.318544
3.56707
3.64024
o1-mini
2025-03-31
882.601
131
0.329601
3.72561
3.79878
gpt-4o
2025-03-31
184.54
128
0.306611
3.75
3.76829
gpt-4o-mini
2025-03-31
226.728
118
0.342398
3.64634
3.73171
claude-3-5-sonnet-20240620
2025-03-31
284.186
108
0.301769
3.64634
3.63415
claude-3-5-sonnet-20241022
2025-03-31
309.034
117
0.325797
3.73171
3.71951
gemini-1.5-pro
2025-03-31
516.334
100
0.339682
3.55488
3.48171
gemini-1.5-flash
2025-03-31
758.837
0
0.266851
0.829268
1.26829
Gesamte Antwortzeit (s): Die gesamte Zeit, die das Modell benötigt hat, um alle Ausgaben zu generieren.
Bestehende Tests: Die Anzahl der Unit-Tests, die das Modell während der Evaluierung bestanden hat, von insgesamt 164 Tests.
Durchschnittlicher CodeBLEU: Durchschnittlicher CodeBLEU-Wert, ein Maß zur Bewertung der Qualität der Codegenerierung basierend auf syntaktischer und semantischer Korrektheit.
Durchschnittlicher Nützlichkeitswert: Durchschnittliche Bewertung der Nützlichkeit der Ausgaben des Modells, bewertet durch ein LLM-Modell.
0: Snippet ist überhaupt nicht hilfreich, es ist irrelevant für das Problem.
1: Snippet ist leicht hilfreich, es enthält Informationen, die für das Problem relevant sind, aber es ist einfacher, die Lösung von Grund auf neu zu schreiben.
2: Snippet ist etwas hilfreich, es erfordert erhebliche Änderungen (im Vergleich zur Größe des Snippets), ist aber dennoch nützlich.
3: Snippet ist hilfreich, muss aber leicht geändert werden, um das Problem zu lösen.
4: Snippet ist sehr hilfreich, es löst das Problem.
Durchschnittlicher funktionaler Korrektheitswert: Durchschnittlicher Wert der funktionalen Korrektheit der Ausgaben des Modells, der bewertet, wie gut die Ausgaben die funktionalen Anforderungen erfüllen, bewertet durch ein LLM-Modell.
0 (alle möglichen Tests nicht bestanden): Der Code-Snippet ist völlig falsch und sinnlos.
4 (alle möglichen Tests bestanden): Der Code-Snippet ist völlig korrekt und kann alle Fälle behandeln.
Last updated