パフォーマンスベンチマーク
複数の評価ドメインにわたる最先端の結果
推論、コーディング、数学、専門分野における GPT-OSS モデルの詳細なパフォーマンス指標と比較をご覧ください。
パフォーマンス概要
GPT-OSS モデルは多様なベンチマークで優れたパフォーマンスを示し、オープンウェイト言語モデルの新しい基準を設定しています。
85%
MMLU スコア
GPT-OSS 120B
2622
Codeforces レーティング
競技プログラミング
131k
コンテキスト長
拡張コンテキストウィンドウ
Apache 2.0
ライセンス
完全オープンソース
詳細ベンチマーク
複数のドメインとタスクにわたる包括的な評価。
言語理解
一般的な言語理解と推論タスク
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| MMLU | 大規模マルチタスク言語理解 | 85.2% | 78.4% | Claude-3.5: 88.3% |
| HellaSwag | 日常的な出来事に関する常識的推論 | 87.6% | 84.1% | GPT-4: 89.2% |
| ARC Challenge | 小学校レベルの科学問題 | 92.3% | 88.7% | GPT-4: 93.1% |
数学的推論
数学的問題解決と論理的推論
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| GSM8K | 小学校の算数文章題 | 91.7% | 87.2% | GPT-4: 92.0% |
| MATH | 競技レベルの数学 | 76.4% | 68.9% | GPT-4: 77.2% |
| AIME 2024 | アメリカ数学招待試験 | 13.3/15 | 11.7/15 | GPT-4: 14.1/15 |
コード生成
プログラミングとソフトウェア開発タスク
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HumanEval | Python プログラミング問題 | 89.6% | 84.2% | GPT-4: 90.2% |
| MBPP | 基本的な Python 問題 | 86.8% | 81.4% | GPT-4: 87.5% |
| Codeforces | 競技プログラミングレーティング | 2622 | 2516 | GPT-4: 2697 |
専門分野
ドメイン固有の知識と推論
| Benchmark | Description | GPT-OSS 120B | GPT-OSS 20B | Baseline |
|---|---|---|---|---|
| HealthBench | 医療・健康知識 | 82.4% | 78.9% | GPT-4: 84.1% |
| LegalBench | 法的推論と分析 | 79.6% | 74.2% | GPT-4: 81.3% |
| ScienceQA | 科学的推論と知識 | 88.7% | 85.1% | GPT-4: 89.9% |
効率性指標
パラメータあたりのパフォーマンスと計算効率分析。
推論速度
標準ハードウェアでの秒あたりトークン数
GPT-OSS 120B45 tokens/s
GPT-OSS 20B128 tokens/s
Hardware: A100 80GB
メモリ使用量
推論中のピークメモリ消費量
GPT-OSS 120B240 GB
GPT-OSS 20B48 GB
Hardware: FP16 精度
訓練効率
訓練中のパラメータあたり FLOPs
GPT-OSS 120B2.1e21
GPT-OSS 20B3.5e20
Hardware: H100 クラスター
評価方法論
私たちの包括的な評価アプローチは公正で再現可能な結果を保証します。
1
標準化プロトコル
すべての評価は確立されたベンチマークプロトコルとスコアリング方法に従います。
2
複数回実行
統計的有意性を確保するため、複数の評価実行で結果を平均化。
3
公正な比較
すべてのモデルとベンチマークで一貫した評価条件。
4
透明性
再現性のための詳細な方法論と評価コードが利用可能。
モデル比較
GPT-OSS モデルが他の主要言語モデルとどのように比較されるか。
すべてのベンチマークは一貫した評価プロトコルで標準化された条件下で実施されています。