性能基准测试
在多个评估领域取得最先进的结果
探索 GPT-OSS 模型在推理、编程、数学和专业领域的详细性能指标和比较。
性能概览
GPT-OSS 模型在各种基准测试中表现出色，为开放权重语言模型设立了新标准。
85%
MMLU 分数
GPT-OSS 120B
2622
Codeforces 评级
竞技编程
131k
上下文长度
扩展上下文窗口
Apache 2.0
许可证
完全开源
详细基准测试
跨多个领域和任务的综合评估。
语言理解
通用语言理解和推理任务
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| MMLU | 大规模多任务语言理解 | 85.2% | 78.4% | Claude-3.5: 88.3% |
| HellaSwag | 关于日常事件的常识推理 | 87.6% | 84.1% | GPT-4: 89.2% |
| ARC Challenge | 小学科学问题 | 92.3% | 88.7% | GPT-4: 93.1% |
数学推理
数学问题解决和逻辑推理
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| GSM8K | 小学数学应用题 | 91.7% | 87.2% | GPT-4: 92.0% |
| MATH | 竞赛级数学 | 76.4% | 68.9% | GPT-4: 77.2% |
| AIME 2024 | 美国数学邀请赛 | 13.3/15 | 11.7/15 | GPT-4: 14.1/15 |
代码生成
编程和软件开发任务
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HumanEval | Python 编程问题 | 89.6% | 84.2% | GPT-4: 90.2% |
| MBPP | 基础 Python 问题 | 86.8% | 81.4% | GPT-4: 87.5% |
| Codeforces | 竞技编程评级 | 2622 | 2516 | GPT-4: 2697 |
专业领域
特定领域知识和推理
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HealthBench | 医疗和健康知识 | 82.4% | 78.9% | GPT-4: 84.1% |
| LegalBench | 法律推理和分析 | 79.6% | 74.2% | GPT-4: 81.3% |
| ScienceQA | 科学推理和知识 | 88.7% | 85.1% | GPT-4: 89.9% |
效率指标
每参数性能和计算效率分析。
推理速度
标准硬件上的每秒令牌数
GPT-OSS 120B45 tokens/s
GPT-OSS 20B128 tokens/s
Hardware: A100 80GB
内存使用
推理期间的峰值内存消耗
GPT-OSS 120B240 GB
GPT-OSS 20B48 GB
Hardware: FP16 精度
训练效率
训练期间每参数的 FLOPs
GPT-OSS 120B2.1e21
GPT-OSS 20B3.5e20
Hardware: H100 集群
评估方法
我们的综合评估方法确保公平和可重现的结果。
1
标准化协议
所有评估都遵循既定的基准协议和评分方法。
2
多次运行
结果在多次评估运行中平均，以确保统计显著性。
3
公平比较
所有模型和基准测试的评估条件一致。
4
透明度
详细的方法和评估代码可用于重现性。
模型比较
GPT-OSS 模型与其他领先语言模型的比较。
所有基准测试均在标准化条件下进行，采用一致的评估协议。