Qwen 3.8 27B auf dem eigenen Schreibtisch. Der Hype ist diesmal berechtigt.

Was bei mir läuft

Qwen 3.8 27B läuft bei mir lokal, neben Laguna-2.1-XS, und zwar nicht als Spielerei am Rand, sondern für praktisch alles: Chat, Texte, Code. Zwei Maschinen: eine RTX 5090 und ein MacBook mit M4 Max.

Auf der RTX sind die Zahlen brauchbar. Der Kontext geht mit 3000 bis 3400 Token pro Sekunde durch die Karte, geschrieben wird mit 56 Token pro Sekunde. Das ist kein Vergleich zu dem, was aus einem Rechenzentrum kommt, aber es ist schnell genug, dass man nicht auf den Bildschirm starrt und wartet.

Der Mac ist der zweite Fall: kein Serverersatz, aber ein vollwertiger Arbeitsplatz, auf dem dasselbe Modell ohne Netz läuft. Für einen Termin beim Kunden, bei dem nichts nach draussen darf, ist das kein Detail.

Die häufigste Frage, die ich zu diesem Thema bekomme, ist nicht «wie gut ist es», sondern «passt das überhaupt auf meine Karte». Dafür gibt es hier ein kleines Werkzeug: Passt das Modell auf meine Karte? Es zeigt, wie sich Gewichte und Kontext den Speicher teilen, und welche Kombination aus Quantisierung und Kontextlänge auf welcher Hardware noch aufgeht. Es rechnet im Browser, ohne Anmeldung, und es geht nichts nach draussen. Gebaut hat es das Modell, um das es hier geht. Wie das lief, steht weiter unten.

Der Sprung, den ich nicht erwartet habe

Wir haben bei SILEO ein kleines KI-Labor. Dort testen wir Modelle für den Einsatz beim Programmieren, bisher mit einer älteren Qwen-Version. Der Unterschied zur neuen ist massiv, und zwar für ein Modell dieser Grösse erstaunlich massiv.

Ich habe mit lokalen Modellen länger gearbeitet, aber vor allem für Text und Chat. Für Code waren sie bisher die Notlösung: geht schon, aber man merkt bei jeder zweiten Antwort, warum man sonst etwas anderes nimmt. Das ist mit dieser Version nicht mehr so.

Was es kann, und was nicht

Das Modell ist breit einsetzbar. In einem gut orchestrierten Ablauf, mit einem brauchbaren Harness und vernünftigen Einstellungen, liefert es ausgezeichnet. Diese drei Bedingungen sind keine Floskel, sondern der ganze Unterschied. Dasselbe Modell, schlecht eingebettet, wirkt wie Spielzeug. Gut eingebettet erledigt es einen Grossteil dessen, wofür man sonst ein Abo löst.

Was es nicht kann, ist zaubern. Es ist top für seine Grösse, und es ist nicht auf dem Niveau der grossen Spitzenmodelle. Bei langen Zusammenhängen, bei Aufgaben, die über viele Schritte konsistent bleiben müssen, und bei allem, wo es auf das letzte Stück Urteilsvermögen ankommt, merkt man den Abstand. Wer den Vergleich anstellt und behauptet, es gebe keinen, hat entweder nicht verglichen oder verkauft etwas.

Die ehrliche Formulierung ist: Es reicht für den grössten Teil der Arbeit. Nicht für den anspruchsvollsten.

Die Probe aufs Exempel

Ich habe es für diesen Take nicht bei der Behauptung belassen. Der Speicherrechner weiter oben stammt nicht von mir und nicht aus der Cloud. Den hat Qwen 3.8 27B gebaut, lokal, im Agentenmodus.

Die Aufgabenstellung war ernst gemeint: rund 1800 Wörter, drei Dateien mit festen Namen, die harten Vorgaben aus der Sicherheitsrichtlinie der Seite, die Farbwerte und Schriften des Blogs, die vier Formeln mit allen Konstanten, der Seitenaufbau, die Sprachregeln. Dazu Zugriff auf dieselben Dateien, die ein Mensch gelesen hätte, ein lokaler Server zum Ansehen, und am Schluss Abnahmekriterien, die eine Maschine prüfen kann.

Nach zwanzig Minuten lag die Abgabe vor. 189 Anfragen, keine einzige mit Fehler. 141 Runden des Koordinators, zehn Subagenten, 856 Zeilen in drei Dateien. Die Abnahme lief durch, alle sechs Prüfungen. Beide Rechenproben stimmten auf die Stelle: 15,4 Gigabyte für die Gewichte, 6,00 für den Kontext, 1,87 für den Rest, Summe 23,3, Urteil «Das passt.» Die Konsole des Browsers blieb leer.

Zwei Zahlen daraus finde ich interessanter als das Ergebnis selbst.

Die erste: 11,1 Millionen Token gelesen, 94 000 geschrieben. Das ist ein Verhältnis von 118 zu 1, viermal so viel wie in meinem normalen Wochenschnitt. Im Agentenmodus geht der Kontext bei jeder Runde neu durch die Karte, und bei 141 Runden summiert sich das. Wer Agenten in der Cloud laufen lässt, bezahlt genau dafür, und die meisten merken es erst auf der Rechnung.

Die zweite: Der Strom für diese zwanzig Minuten kostet fünf Rappen. Dieselben Token über ein Spitzenmodell in der Cloud kosten zwischen vier und neunzehn Franken, je nachdem wie gut der Zwischenspeicher greift. Für ein einzelnes kleines Werkzeug.

Der ehrliche Gegenpunkt steht daneben: zwanzig Minuten. Ein grosses Modell wäre schneller fertig gewesen. Dazu unten mehr.

Und ein Detail, das mir zu denken gibt. Dieselbe Aufgabe hatte vorher ein grosses Modell aus der Cloud gelöst, als Vergleichspunkt, für Qwen unsichtbar weggeräumt. Diese Fassung hat 442 Zeilen, die von Qwen 856. Der Unterschied steckt fast vollständig im CSS: 93 Zeilen gegen 440. Auf dem Bildschirm sieht man keinen Unterschied. Mehr Code, der dasselbe tut, ist kein Fehler, aber es ist mehr zu lesen, mehr zu ändern und mehr, was beim nächsten Mal kaputtgeht.

Bevor daraus jemand eine Rangliste macht: Ein sauberer Vergleich zweier Modelle ist das nicht. Die beiden liefen in sehr unterschiedlichen Umgebungen, und meine ist zehn Tage alt. Wie viel vom Unterschied auf das Modell geht und wie viel auf den Rahmen drumherum, kann ich nicht sagen. Dazu weiter unten mehr.

Die Rechnung, ehrlich aufgemacht

Ich habe die Nutzung einer Woche zusammengezählt, nicht geschätzt, sondern aus der Historie. 2525 Anfragen, 49 Millionen Token eingelesen, 1,66 Millionen Token geschrieben, 10,5 Stunden Rechenzeit unter Last.

Das Verhältnis ist der interessante Teil: Auf jedes geschriebene Token kommen dreissig eingelesene. Der Kontext geht bei jeder Runde vollständig durch die Karte. Wer über Kosten redet und nur auf die erzeugten Token schaut, redet über ein Dreissigstel des Problems.

Der Strom: Die Rechenzeit ist gemessen, die Leistungsaufnahme nicht. Darum drei Annahmen für das Gesamtsystem an der Steckdose, bei 25 Rappen je Kilowattstunde. Bei 500 Watt sind es 5,3 Kilowattstunden und 1.32 Franken für die Woche. Bei 600 Watt 1.58 Franken. Bei 700 Watt 1.84 Franken. Pro Million erzeugter Token liegt das zwischen 80 Rappen und 1.11 Franken.

Dieselbe Arbeit in der Cloud, gerechnet mit Sonnet 5 zu zwei Dollar je Million eingelesener und zehn Dollar je Million erzeugter Token: ohne Zwischenspeicher 92.81 Franken für die Woche. Mit Zwischenspeicher und achtzig Prozent Trefferquote 39.61 Franken, mit neunzig Prozent 30.48 Franken.

Und jetzt der Teil, den die meisten Vergleiche weglassen. Die Hardware kostet bei heutigen Preisen rund 7000 Franken. Gegen die günstigste Cloud-Variante gerechnet, spare ich damit knapp 29 Franken pro Woche, und die Karte hat sich nach etwa viereinhalb Jahren bezahlt. Gegen die teuerste Variante, ohne Zwischenspeicher, sind es rund anderthalb Jahre.

Das ist keine schlechte Zahl. Aber es ist auch nicht die Zahl, mit der man einen Rollout begründet. Wer lokal rechnet, um Geld zu sparen, rechnet sich das schön. Wer lokal rechnet, weil die Daten das Haus nicht verlassen dürfen, bekommt die Rechnung praktisch geschenkt.

Warum ich den Hype für ein gutes Zeichen halte

Genau hier liegt die Nachricht, und sie hat mit dem Preis wenig zu tun.

Mit Qwen 3.8 gibt es ein Modell, das für einen riesigen Teil der heutigen Anforderungen bereits völlig ausreicht. Mit gutem Harness und klaren Regeln funktioniert es hervorragend, in brauchbarer Geschwindigkeit, auf bezahlbarer Hardware. Das zeigt, dass die Entwicklung in die richtige Richtung geht: Die Modelle brauchen zunehmend weniger Leistung für stetig steigende Fähigkeiten.

Für die Diskussion, die ich in Take 002 geführt habe, ändert das alles. Dort war der Einwand, dass Unternehmen, die vor fünf Jahren die amerikanische Cloud abgelehnt haben, heute ihre Geschäftsgeheimnisse in einen Chat tippen. Solange die Alternative hiess «gar keine KI», war dieser Einwand unbequem und folgenlos. Jetzt heisst die Alternative: dasselbe Werkzeug, im eigenen Haus, ohne dass ein einziges Byte den Betrieb verlässt.

Damit wird KI zum ersten Mal auch dort einsetzbar, wo der Datenschutz hart ist. Nicht als Kompromiss und nicht als abgespeckte Version, sondern als Werkzeug, das für den Alltag reicht. Das ist der Grund, warum ich den Aufruhr um dieses Release nicht albern finde, sondern angemessen.

Wo ich trotzdem in die Cloud gehe

Die grossen Modelle bringen mehr als zusätzliche Intelligenz. Sie bringen ein ausgereiftes Umfeld mit: Harness, Werkzeuge, Anbindungen, alles aufeinander abgestimmt. Und sie bringen eine Geschwindigkeit, die mit Hardware für den Schreibtisch schlicht nicht zu erreichen ist.

Wenn es schnell gehen muss, oder wenn ein Projekt eine gewisse Grösse hat, führt daran nichts vorbei. Die Frage ist also nicht entweder oder. Sie lautet: Welche Aufgabe läuft wo, und wer entscheidet das.

Zumindest war das mein Stand bis vor kurzem. Beim Tempo bin ich inzwischen weiter, mit Orchestrierung und mehreren Modellen nebeneinander statt einem einzigen für alles. Das ist ein eigener Take, und ich will ihn nicht in zwei Sätzen verheizen. Er kommt als Nächstes.

Meine Faustregel, vorläufig: Alles, was schützenswerte Daten berührt, läuft lokal. Alles, was Tempo oder das letzte Stück Können braucht und mit unkritischen Daten auskommt, läuft in der Cloud. Und die Grenze verschiebt sich gerade jedes halbe Jahr in Richtung lokal.

Das Urteil

Jetzt bauen. Nicht wegen der Stromrechnung, die trägt sich erst nach Jahren. Sondern weil zum ersten Mal ein Modell verfügbar ist, das gut genug für den Alltag ist und dabei vollständig unter der eigenen Kontrolle läuft.

Wer bisher gesagt hat, KI komme für ihn nicht in Frage, weil die Daten nicht raus dürfen, hat dieses Argument seit zwei Wochen nicht mehr. Und wer ein Abo für alle ausrollen wollte, sollte sich vorher ansehen, was auf einer einzelnen Grafikkarte im eigenen Serverraum inzwischen läuft.