GPT-OSS LiveGPT-OSS Live
Dokumentation

Dokumentation

Alles was Sie brauchen, um mit GPT-OSS zu beginnen

Umfassende Anleitungen, API-Referenzen und Tutorials, um Ihnen bei der effektiven Bereitstellung und Nutzung von GPT-OSS Modellen zu helfen.

Schnellstart
GPT-OSS in wenigen Minuten zum Laufen bringen
1

Abhängigkeiten installieren

Richten Sie Ihre Umgebung mit den erforderlichen Paketen ein

pip install transformers torch accelerate
2

Modell laden

GPT-OSS Modell in Ihrer Anwendung initialisieren

from transformers import AutoModelForCausalLM, AutoTokenizer
3

Text generieren

Beginnen Sie mit der Textgenerierung mit Ihrem Modell

output = model.generate(input_ids, max_length=100)

Installationsanleitung

Mehrere Wege zur Installation und Bereitstellung von GPT-OSS Modellen

Ollama
Einfachster Weg, GPT-OSS lokal auszuführen
  1. Installieren Sie Ollama von ollama.ai
  2. Ausführen: ollama pull gpt-oss:120b
  3. Chat starten: ollama run gpt-oss:120b
Hugging Face
Verwendung mit transformers Bibliothek
  1. pip install transformers torch
  2. Modell laden: AutoModelForCausalLM.from_pretrained('openai/gpt-oss-120b')
  3. Text mit dem Modell generieren
VLLM
Hochleistungs-Inferenz-Server
  1. pip install vllm
  2. vllm serve openai/gpt-oss-120b
  3. OpenAI-kompatible API verwenden
Docker
Containerisierte Bereitstellung
  1. docker pull gpt-oss:120b
  2. docker run -p 8000:8000 gpt-oss:120b
  3. Zugriff über HTTP API
API-Referenz
Vollständige API-Dokumentation für GPT-OSS Modelle
POST
/v1/chat/completions

Chat-Vervollständigung erstellen

Parameters:

messages
array
Required
Liste der Nachrichten in der Unterhaltung
model
string
Required
Modell für die Vervollständigung
max_tokens
integer
Maximale Anzahl zu generierender Token
temperature
number
Sampling-Temperatur (0-2)
POST
/v1/completions

Text-Vervollständigung erstellen

Parameters:

prompt
string
Required
Text-Prompt zum Vervollständigen
model
string
Required
Modell für die Vervollständigung
max_tokens
integer
Maximale Anzahl zu generierender Token

Bereit zum Entwickeln?

Beginnen Sie noch heute mit der Entwicklung erstaunlicher Anwendungen mit GPT-OSS Modellen.

Beispiele ansehenCommunity beitreten
GPT-OSS Dokumentation