Бенчмарки производительности
Современные результаты в различных областях оценки
Изучите подробные метрики производительности и сравнения моделей GPT-OSS в рассуждениях, программировании, математике и специализированных областях.
Обзор производительности
Модели GPT-OSS демонстрируют исключительную производительность в различных бенчмарках, устанавливая новые стандарты для языковых моделей с открытыми весами.
Подробные бенчмарки
Комплексная оценка в различных доменах и задачах.
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| MMLU | Массивное многозадачное понимание языка | 85.2% | 78.4% | Claude-3.5: 88.3% |
| HellaSwag | Здравый смысл о повседневных событиях | 87.6% | 84.1% | GPT-4: 89.2% |
| ARC Challenge | Научные вопросы начальной школы | 92.3% | 88.7% | GPT-4: 93.1% |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| GSM8K | Текстовые задачи по математике начальной школы | 91.7% | 87.2% | GPT-4: 92.0% |
| MATH | Математика соревновательного уровня | 76.4% | 68.9% | GPT-4: 77.2% |
| AIME 2024 | Американский пригласительный математический экзамен | 13.3/15 | 11.7/15 | GPT-4: 14.1/15 |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HumanEval | Задачи программирования на Python | 89.6% | 84.2% | GPT-4: 90.2% |
| MBPP | Базовые задачи Python | 86.8% | 81.4% | GPT-4: 87.5% |
| Codeforces | Рейтинг соревновательного программирования | 2622 | 2516 | GPT-4: 2697 |
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HealthBench | Медицинские и здравоохранительные знания | 82.4% | 78.9% | GPT-4: 84.1% |
| LegalBench | Правовые рассуждения и анализ | 79.6% | 74.2% | GPT-4: 81.3% |
| ScienceQA | Научные рассуждения и знания | 88.7% | 85.1% | GPT-4: 89.9% |
Метрики эффективности
Производительность на параметр и анализ вычислительной эффективности.
Методология оценки
Наш комплексный подход к оценке обеспечивает справедливые и воспроизводимые результаты.
Стандартизированные протоколы
Все оценки следуют установленным протоколам бенчмарков и методам оценки.
Множественные запуски
Результаты усреднены по множественным запускам оценки для статистической значимости.
Справедливое сравнение
Последовательные условия оценки для всех моделей и бенчмарков.
Прозрачность
Подробная методология и код оценки доступны для воспроизводимости.
Сравнение моделей
Как модели GPT-OSS сравниваются с другими ведущими языковыми моделями.
Все бенчмарки проведены в стандартизированных условиях с последовательными протоколами оценки.
Испытайте производительность
Готовы использовать эти возможности? Разверните модели GPT-OSS и убедитесь в производительности сами.