Wie viel Speicher braucht dein Modell?

Eingaben

Parameter in Milliarden

Grösse des Modells, zum Beispiel 27 für ein 27-Milliarden-Modell.

Quantisierung

Bits je Gewicht, gemittelt über das ganze Modell.

Kontext in Token

Bytes je Wert im Zwischenspeicher

FP16 braucht zwei Byte, die 8-Bit-Varianten eines.

Aufbau Annahme

Voreinstellung für heutige Modelle mit gruppierten Köpfen. Solange du die Felder nicht änderst, folgen sie der Parameterzahl.

Schichten

KV-Köpfe

Kopfbreite

Speicher der Karte

Wähle «Eigener Wert…», um eine freie Grösse in GB einzugeben.

Gemeinsamer Speicher (Apple Silicon)

Dann zählt nur 75 Prozent des angegebenen Werts; den Rest hält das Betriebssystem.

Ergebnis

Das passt.

Gewichte15.4 GB

Kontext-Zwischenspeicher6.00 GB

Rest (Puffer, Zwischenergebnisse, Bildausgabe)1.87 GB

Summe23.3 GB

Alle Kombinationen

Quantisierung gegen Kontextlänge, bei deinem Aufbau und deinem Speicher. Jede Zelle zeigt den Gesamtbedarf in GB; die gewählte Kombination ist umrandet.

Wie gerechnet wird

Gewichte: Parameterzahl mal Bits je Gewicht, geteilt durch acht. Der Kontext-Zwischenspeicher wächst mit Schichten, KV-Köpfen, Kopfbreite, Kontextlänge und Bytes je Wert; die Zwei davor steht für Schlüssel und Werte. Dazu kommt ein Aufschlag für Zwischenergebnisse, Puffer und Bildausgabe: 0.8 GB plus fünf Prozent von Gewichten und Kontext.

Ein Gigabyte meint hier 1024³ Byte. Dateigrössen in Dateimanagern und auf Herstellerseiten sind dezimal gerechnet und sehen deshalb grösser aus.

Das Ergebnis ist eine Schätzung, keine Messung. Der tatsächliche Verbrauch hängt vom Laufzeitumfeld ab.