Leistungs-Benchmarks
Modernste Ergebnisse über mehrere Bewertungsdomänen
Erkunden Sie detaillierte Leistungsmetriken und Vergleiche für GPT-OSS Modelle über Reasoning, Coding, Mathematik und spezialisierte Domänen.
Leistungsübersicht
GPT-OSS Modelle zeigen außergewöhnliche Leistung über diverse Benchmarks und setzen neue Standards für Open-Weight Sprachmodelle.
Detaillierte Benchmarks
Umfassende Bewertung über mehrere Domänen und Aufgaben.
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| MMLU | Massive Multitask Language Understanding | 85.2% | 78.4% | Claude-3.5: 88.3% |
| HellaSwag | Gesunder Menschenverstand über alltägliche Ereignisse | 87.6% | 84.1% | GPT-4: 89.2% |
| ARC Challenge | Grundschul-Wissenschaftsfragen | 92.3% | 88.7% | GPT-4: 93.1% |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| GSM8K | Grundschul-Mathematik Textaufgaben | 91.7% | 87.2% | GPT-4: 92.0% |
| MATH | Wettbewerbs-Mathematik | 76.4% | 68.9% | GPT-4: 77.2% |
| AIME 2024 | American Invitational Mathematics Examination | 13.3/15 | 11.7/15 | GPT-4: 14.1/15 |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HumanEval | Python-Programmierprobleme | 89.6% | 84.2% | GPT-4: 90.2% |
| MBPP | Mostly Basic Python Problems | 86.8% | 81.4% | GPT-4: 87.5% |
| Codeforces | Competitive Programming Rating | 2622 | 2516 | GPT-4: 2697 |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HealthBench | Medizinisches und Gesundheitswissen | 82.4% | 78.9% | GPT-4: 84.1% |
| LegalBench | Rechtliches Reasoning und Analyse | 79.6% | 74.2% | GPT-4: 81.3% |
| ScienceQA | Wissenschaftliches Reasoning und Wissen | 88.7% | 85.1% | GPT-4: 89.9% |
Effizienz-Metriken
Leistung pro Parameter und Recheneffizienz-Analyse.
Bewertungsmethodik
Unser umfassender Bewertungsansatz gewährleistet faire und reproduzierbare Ergebnisse.
Standardisierte Protokolle
Alle Bewertungen folgen etablierten Benchmark-Protokollen und Bewertungsmethoden.
Mehrfache Durchläufe
Ergebnisse über mehrere Bewertungsdurchläufe gemittelt für statistische Signifikanz.
Fairer Vergleich
Konsistente Bewertungsbedingungen für alle Modelle und Benchmarks.
Transparenz
Detaillierte Methodik und Bewertungscode für Reproduzierbarkeit verfügbar.
Modell-Vergleich
Wie GPT-OSS Modelle im Vergleich zu anderen führenden Sprachmodellen abschneiden.
Alle Benchmarks unter standardisierten Bedingungen mit konsistenten Bewertungsprotokollen durchgeführt.
Erleben Sie die Leistung
Bereit, diese Fähigkeiten zu nutzen? Deployen Sie GPT-OSS Modelle und sehen Sie die Leistung selbst.