GPT OSS – Offizielles Open-Source Modell von OpenAI

Große Neuigkeiten von OpenAI: GPT OSS

OpenAI hat heute ein sehr bedeutendes Ereignis angekündigt: Sie haben endlich ihr lang erwartetes Openweight-Modell veröffentlicht, das sie schon seit Monaten versprochen hatten. Und ich finde, es ist viel besser, als die meisten erwartet hatten – vor allem für ein Openweight-Modell.

Das neue Modell heißt GPT OSS und kommt in zwei Ausführungen bzw. Größen:

• GPT OSS 120 Billionen Parameter
• GPT OSS 20 Billionen Parameter – deutlich weniger Parameter, aber schneller und auf mehr Maschinen lauffähig.

Beide Modelle wurden unter der Apache 2.0 Lizenz veröffentlicht. Das bedeutet, dass jeder diese Modelle herunterladen, feintunen und weiterentwickeln kann. Ich glaube, das wird der neue Openweight-König – keine der bestehenden LLaMA- oder Mistral-Modelle kommt auch nur annähernd heran, zumindest nicht in der aktuellen Version.

Warum sind Openweight-Modelle so wichtig?

Openweight-Modelle können auf dem eigenen Computer ausgeführt werden – vollständig offline. Internetzugang ist nicht erforderlich. Allerdings werden sie für den Betrieb eine leistungsstarke GPU brauchen, dennoch entfällt die Abhängigkeit vom Internet.

Das bedeutet, man kann mit seiner KI auch auf 30.000 Fuß Höhe im Flugzeug oder bei einer Internetausfall-Situation chatten. Außerdem werden keinerlei Daten in die Cloud hochgeladen. Alle Gespräche bleiben lokal auf Ihrem Rechner – niemand außer Ihnen kann diese sehen.

Noch besser: Sobald man das Modell heruntergeladen hat, ist die Nutzung komplett kostenlos und ohne Gebühren. Keine ChatGPT- oder Claude-API-Kosten, keine Google-Nutzungskosten. Das Modell läuft lokal auf dem eigenen Rechner, die volle Kontrolle liegt bei Ihnen.

Technische Details & Leistungsübersicht

Die Modelle verwenden einen sogenannten Mixture of Experts-Ansatz, d.h. nicht alle Parameter werden zeitgleich benutzt. Stattdessen werden z.B. 5,1 Milliarden oder 3,6 Milliarden Parameter aktiv genutzt, was die Geschwindigkeit erhöht.

Die Kontextlänge beträgt satte 128.000 Tokens, was etwa 96.000 Wörtern entspricht (Eingabe + Ausgabe zusammen).

Hier eine Zusammenfassung der Benchmarks aus der Codeforces Competition:

• 120B Modell: Score 2.622
• Mit den OpenAI Modellen (GPT-3.5 & GPT-4 Mini) vergleichbar, nur minimal langsamer als GPT-4 Mini, aber besser als GPT-3.5 Mini.

Bei verschiedenen Tests schneidet es z.B. im Bereich Gesundheit, Mathematik und Code ausgezeichnet ab und liegt oft gleichauf mit den Closed-Source-Spitzenmodellen.

Diese Openweight Modelle sind auch „Chain of Thought“-Modelle. Man kann also beobachten, wie sie den Prompt logisch durchdenken – mit wählbarem Denkaufwand (kurz, mittel, lang).

Verfügbarkeit und Integration

Die Modelle sind jetzt auf Hugging Face verfügbar und können in Programmen wie Olama, LM Studio und Together AI genutzt werden. Für unser Beispiel nutzen wir LM Studio.

Sam Altman tweetete bei Veröffentlichung: "GPT OSS ist draußen. Ein Open Model, das auf dem Level von GPT-4 Mini performt und auf einem High-End Laptop läuft." Allerdings braucht das 120B Modell ca. 80 GB GPU-RAM, was aktuell eher nur wenigen High-End Rechnern vorbehalten ist. Das kleinere 20B Modell läuft schon auf GPUs mit 16 GB RAM.

Kompatible GPUs mit mindestens 16 GB VRAM

Zum Beispiel:

• AMD Radeon Modelle
• NVIDIA RTX 5060, 5070, 5080, 5090, 4080, 4090, 3090, 3090 Ti

Viele moderne Konsumenten-GPUs schaffen also das 20B Modell.

Sam Altmans Gedanken zum Modell

"GPT OSS ist ein großer Schritt – state-of-the-art Openweight Reasoning Modell mit starker Praxisleistung, vergleichbar zu GPT-4 Mini, lokal auf Computer oder Handy lauffähig. Wir glauben, es ist das beste und nutzbarste Open Modell der Welt."

Er betont, dass Nutzer volle Kontrolle über ihre KI haben sollen, mit offensichtlichen Vorteilen bei Datenschutz und Privatsphäre. Außerdem sieht er eine verstärkte Innovationsrate und mehr Menschen, die wichtige AI-Arbeit leisten können.

Microsoft bringt im Zuge der Veröffentlichung GPU-optimierte Versionen des GPT OSS 20B Modells für Windows PC heraus.

Da das Modell besonders gut mit Code umgehen kann, könnte es für viele Entwickler eine kostengünstige Alternative zu kostenpflichtigen Lösungen wie Claude sein.

Installation und erste Schritte mit LM Studio

Wir nutzen LM Studio (Download unter lmstudio.ai) zur lokalen Ausführung. Nach Installation empfehlen wir, außerdem das 20B Modell (~12 GB) herunterzuladen, da es auf den meisten Geräten gut läuft.

Danach kann man im Programm auch das 120B Modell für High-End Systeme laden (kostet ca. 64 GB RAM!) und beide Modelle testen.

Erstes Test-Beispiel: Zaehle wie viele 'R' im Wort "strawberry" sind

Das Modell antwortet blitzschnell (74 Tokens/s) mit: Das Wort "strawberry" enthält drei Buchstaben "R".

Man sieht sogar die Denk-Schritte live mit:

Count R letters in strawberry
R appears three times

Beispiel: Erstellung eines Vampire Survivors Klons in JavaScript

Mit hohem Denkaufwand und aktivierter JS Code Sandbox erzeugt das Modell in kürzester Zeit einen einfachen Nachbau eines Spiels:

• Das 20B Modell macht ein simples Spiel mit Gegnern und Ausweichen.
• Das 120B Modell erzeugt einen umfangreicheren Klon mit automatischem Schießen in einer einzigen HTML-Datei.

Das Resultat kann man lokal öffnen und sofort spielen.

Fazit

Ich bin wirklich beeindruckt, was hier mit einem einzigen Prompt an vollwertigem Code erzeugt wird – komplett open-source, offline und nahe am Stand der Technik. Die Möglichkeiten zur Anpassung, Feinjustierung und Erweiterung durch die Community machen das Modell extrem spannend für die Zukunft.

Sam Altman kündigte weitere spannende Neuigkeiten für die nächsten Tage an – vielleicht schon GPT-5?

Das hier ist jetzt schon sehr vielversprechend und ich werde weitere News und Demos wie gewohnt in meinen samstäglichen AI-News zur Verfügung stellen.

Vielen Dank & Ressourcen

Großer Dank an Recraft für das Sponsoring dieser Präsentation – ein tolles Tool für KI-basierte, hochwertige und konsistente Grafiken und Branding.

Ich hoffe, dieser Guide hat Ihnen die aufregenden Möglichkeiten von GPT OSS nähergebracht. Spielen Sie ruhig mit dem offenen Modell herum – es ist frei und lokal nutzbar.

Bleiben Sie dran für noch mehr Innovationen und spannende AI-News!