Lokale KI: Welche Hardware Sie wirklich brauchen und welche nicht

Was ein Sprachmodell zu Hause an Rechner, Speicher und Geduld verlangt

Es ist ein Sonntagabend im Februar, und Jonas sitzt vor einem Datei-Auswahldialog.

Vor ihm auf dem Schreibtisch liegt der Ordner seines Vaters. Arztbriefe, Befunde, ein Medikationsplan über vier Seiten, dazu Korrespondenz mit der Krankenkasse in einem Deutsch, das offenbar eigens dafür erfunden wurde, niemanden zu informieren. Jonas soll das ordnen. Er hat es sich vorgenommen, seit drei Wochen.

Er hat die Seiten eingescannt. Vierzig PDFs. Und jetzt sitzt er da, den Cursor über dem Upload-Button eines KI-Dienstes. Und tut nichts.

Es ist kein dramatischer Moment. Niemand würde ihn filmen wollen. Aber es ist ein präziser: In diesem Zögern steckt eine Frage, die Millionen Menschen inzwischen kennen, ohne sie je ausgesprochen zu haben. Wo geht das eigentlich hin? Nicht als Verschwörungsgedanke, sondern ganz nüchtern: Die Diagnose seines Vaters, die Medikamentenliste, die Bemerkung des Arztes über die Prognose. Das alles würde gleich über eine Leitung in ein Rechenzentrum wandern, das Jonas nie sehen wird, betrieben von einer Firma, deren Geschäftsbedingungen er nicht gelesen hat.

Er schließt den Dialog. Und tippt stattdessen in die Suchmaschine: KI lokal betreiben.

Was er in den folgenden Wochen lernt, ist eine gute Geschichte über Technik. Sie handelt davon, wie erstaunlich weit man mit einem normalen Rechner kommt, und wie präzise die Wand ist, gegen die man danach läuft.

Warum das plötzlich alle interessiert

Es gibt drei Gründe, seine KI nach Hause zu holen, und nur einer davon ist Paranoia.

Der erste ist Jonas‘ Grund: Datenschutz. Nicht abstrakt, sondern konkret. Geschäftszahlen, Mandantenakten, Patientendaten, die Fotos vom Kind. Es gibt Kategorien von Information, bei denen die Frage „Wem vertraue ich das an?“ keine akademische ist.

Der zweite ist Unabhängigkeit. Wer über Monate einen Arbeitsablauf um ein bestimmtes Cloud-Modell herum aufbaut, ist dessen Anbieter ausgeliefert. Modelle werden abgeschaltet, verändert, neu bepreist. Ein Modell auf der eigenen Festplatte bleibt exakt, wie es ist.

Der dritte Grund ist der ehrlichste: Neugier. Viele wollen einfach sehen, was auf ihrem eigenen Blech läuft. Das ist völlig legitim und wahrscheinlich der häufigste Grund von allen.

Die Kaufentscheidung in dreißig Sekunden

Bevor es kompliziert wird, die kurze Fassung. Wer nach dieser Tabelle aufhört zu lesen, hat immerhin die richtige Größenordnung im Kopf:

Ziel	Typische Speicherklasse	Sinnvolle Plattform
Ausprobieren, einfache Assistenz	12 bis 16 GB Grafikspeicher	vorhandener PC
Gute Dokumentenarbeit mit RAG	16 bis 32 GB Grafikspeicher	PC, häufig NVIDIA
Große quantisierte 70B-Modelle oder gpt-oss-120b	80 bis 128 GB schneller Speicher	Strix Halo oder Mac Studio
Bild, Video, Training	möglichst ab 24 GB Grafikspeicher	NVIDIA
Sparsame Spezialaufgaben im Dauerbetrieb	gerätespezifisch, häufig 8 GB	Edge-NPU, siehe Kasten am Ende

Der Rest dieses Artikels erklärt, warum in dieser Tabelle Speicher steht und nicht Rechenleistung. Das ist der Punkt, an dem die meisten Kaufberatungen danebengreifen.

Was diese Tabelle bewusst nicht enthält, sind Preise. Der Grund steht weiter unten: Sie ändern sich derzeit schneller, als ein Artikel altern darf.

Warum Speicher die erste Grenze ist

Ein Sprachmodell (ein Programm, das Text erzeugt, indem es Stück für Stück das jeweils wahrscheinlichste nächste vorhersagt) besteht im Kern aus einer riesigen Zahlentabelle. Diese Zahlen heißen Parameter. Ein Modell mit „120B“ im Namen hat 120 Milliarden davon.

Um ein einziges Wortstück auszugeben, muss der Computer große Teile dieser Tabelle aus dem Speicher holen. Nicht einmal pro Antwort, sondern einmal pro Token. Ein Token ist die kleinste Einheit, mit der ein Modell arbeitet: mal eine Silbe, mal ein kurzes Wort, mal ein Satzzeichen.

Daraus folgt eine grobe Überschlagsrechnung:

Speicherbandbreite geteilt durch Modellgröße ergibt ungefähr die Geschwindigkeit.

Die Speicherbandbreite ist die Datenmenge, die pro Sekunde aus dem Speicher gelesen werden kann. Bei einer schnellen Grafikkarte ist sie etwa zwanzigmal so hoch wie bei normalem Arbeitsspeicher. Das ist der eigentliche Grund, warum KI auf Grafikkarten läuft. Nicht die Rechenleistung, sondern der Zugriff auf schnellen Speicher.

Diese Formel ist bewusst als Überschlagsrechnung formuliert, denn sie stimmt nur ungefähr. Bei modernen MoE-Modellen (Mixture of Experts, zu Deutsch etwa „Mischung von Fachleuten“) liegen zwar alle Teile im Speicher, pro Token arbeitet aber nur ein Bruchteil davon mit. Ein Beispiel: Das frei verfügbare Modell gpt-oss-120b hat rund 117 Milliarden Parameter, aktiv sind pro Token aber nur etwa 5,1 Milliarden.

Das senkt den Rechenaufwand gegenüber einem dichten Modell derselben Gesamtgröße erheblich. Ein Missverständnis liegt hier allerdings nahe: Speicherbedarf und Datentransport fallen dadurch nicht auf das Niveau eines echten 5-Milliarden-Modells. Alle Fachleute müssen vorgehalten werden, dazu kommen die gemeinsam genutzten Schichten und die Auswahllogik. Das Modell braucht weiterhin seine 59 Gigabyte.

Die Stellschraube, die eine Grafikkarte ersetzen kann

Wie groß ein Modell im Speicher wird, hängt nicht nur an der Parameterzahl, sondern am gewählten Zahlenformat. Bei der Quantisierung werden die Gewichte mit weniger Bits gespeichert. Es bleibt dasselbe Modell, es rechnet nur ungenauer.

Wie viel das ausmacht, zeigt ein Modell mit 27 Milliarden Parametern in vier Ausbaustufen: In voller Genauigkeit sind realistisch rund 120 Gigabyte nötig, in halber Genauigkeit etwa 64, in einer mittleren Stufe rund 22 und in einem für neuere NVIDIA-Karten optimierten 4-Bit-Format nur noch 16 Gigabyte. Dasselbe Modell, ein Faktor von siebeneinhalb.

Und der Qualitätsverlust ist geringer, als die Zahlen vermuten lassen. In einem Vergleich belegte die 4-Bit-Variante knapp die Hälfte des Grafikspeichers der 8-Bit-Variante und war dabei nicht spürbar ungenauer oder schlechter.

Für die Kaufentscheidung heißt das: Das passende Format zu wählen kann denselben Effekt haben wie eine doppelt so teure Grafikkarte. Bevor du Hardware kaufst, sieh nach, in welchen Formaten dein Zielmodell überhaupt vorliegt.

Und was ist mit TOPS?

Auf jeder Verpackung steht eine Zahl für die Rechenleistung, meist in TOPS (Billionen Operationen pro Sekunde). Sie ist nicht wertlos, aber sie beantwortet eine andere Frage, als die meisten Käufer stellen.

Rechenleistung zählt beim Einlesen langer Eingaben, bei Bild- und Videogenerierung, beim Training und bei kleinen Modellen. Für die Textausgabe eines großen Modells bei einem einzelnen Nutzer ist die nutzbare Speicherbandbreite meist wichtiger. Erschwerend kommt hinzu, dass TOPS-Angaben verschiedener Hersteller kaum vergleichbar sind, weil Datenformat, Auslastung und Softwareunterstützung fehlen.

Als Merksatz:

TOPS werben. Speicher entscheidet, was überhaupt läuft. Bandbreite entscheidet häufig, wie schnell es läuft.

Der Moment, in dem Jonas‘ Rechner die Wand trifft

Jonas hat einen ordentlichen Spiele-PC. Eine Grafikkarte mit 16 Gigabyte Speicher, ein aktueller Prozessor, 32 Gigabyte Arbeitsspeicher. Kein Monster, aber solide.

Er installiert LM Studio, ein Programm mit grafischer Oberfläche, das Modelle herunterlädt und startet, ohne dass man eine Kommandozeile anfassen muss. Er wählt ein mittelgroßes Modell aus, etwa zwölf Gigabyte groß. Es lädt. Er tippt eine Frage.

Und dann passiert etwas, das man erlebt haben muss: Die Antwort erscheint schneller, als er lesen kann. Rund 150 Token pro Sekunde. Sobald Programm und Modell einmal heruntergeladen sind, braucht die eigentliche Verarbeitung weder Internetverbindung noch Konto noch Upload. Jonas könnte in diesem Moment das Netzwerkkabel ziehen, und nichts würde sich ändern.

Dann probiert er das nächstgrößere Modell. Und hier wird es lehrreich.

Das große Modell heißt gpt-oss-120b und braucht rund 59 Gigabyte. Seine Grafikkarte hat 16. Was in so einem Fall passiert, hat die c’t ausprobiert: Nachdem Grafikspeicher und Arbeitsspeicher erschöpft waren und das System auf die SSD auswich, brach die Redaktion den Versuch nach zwei Stunden ohne erkennbaren Fortschritt ab.

Die Regel, die aus dieser Erfahrung folgt

Für brauchbare interaktive Geschwindigkeit sollte das Modell möglichst vollständig im schnellen Speicher liegen.

Wie brutal diese Schwelle ist, zeigt eine einzige Gegenüberstellung aus demselben Test. Dieselbe Maschine, zwei Modelle:

Modell	Passt in die Grafikkarte?	Geschwindigkeit
gpt-oss-20b, rund 12 GB	Ja	152 Token/s
gpt-oss-120b, rund 59 GB	Nein	13 Token/s

Ein Faktor von fast zwölf, allein weil im einen Fall alles am richtigen Ort liegt.

Zwischen diesen Extremen gibt es allerdings Abstufungen, und das ist wichtig für die Kaufentscheidung. Wenn nur ein kleiner Teil, sagen wir zehn bis fünfzehn Prozent, in den normalen Arbeitsspeicher ausgelagert wird, bleibt das oft noch erträglich. Ab einem Drittel wird es zäh. Auf der SSD wird es unbenutzbar. Es ist eine Rutschbahn, kein Schalter.

Preisstand: alle Zahlen in diesem Artikel sind Momentaufnahmen

Bevor die Beträge kommen, ein Warnhinweis, der diesmal wörtlich zu nehmen ist. Der Hardwaremarkt steht im August 2026 unter einer Speicherknappheit, die alle Preisangaben in kurzer Zeit veralten lässt.

Zur Größenordnung: Der Preisindex von 3DCenter weist für Grafikkarten allein zwischen Juli und August 2026 einen Anstieg von 13,3 Prozent aus, gegenüber der Zeit vor der Krise sind es 32 Prozent. Bei der teuersten Consumer-Karte liegt der Aufschlag gegenüber September 2025 bei 96 Prozent. Besonders hart trifft es ausgerechnet die günstigen 16-Gigabyte-Karten, weil bei ihnen der Speicher den größten Anteil am Verkaufspreis ausmacht: Er kostete zeitweise rund 260 Euro pro Karte, vor der Krise waren es etwa 50.

Beim Arbeitsspeicher ist es noch drastischer. Ein 32-Gigabyte-Kit DDR5-6000 lag im September 2025 bei rund 114 Euro und kostet inzwischen zwischen 475 und 540. Für 64-Gigabyte-Kits werden vierstellige Beträge aufgerufen.

Alle folgenden Preise sind Stand August 2026 und vor dem Kauf neu zu prüfen. Analysten erwarten sinkende Speicherpreise frühestens 2028.

Warum Geld allein nicht hilft

Der überzeugendste Beleg für diese Regel kommt aus einem c’t-Test mit Profihardware. Eine NVIDIA RTX 6000 Ada, eine Workstation-Grafikkarte mit 48 Gigabyte Speicher und einem Preis im hohen vierstelligen Bereich, erreichte bei gpt-oss-120b zwischen 20 und 30 Token pro Sekunde. Nicht weil sie langsam wäre, sondern weil 48 Gigabyte für ein 59-Gigabyte-Modell nicht reichen. Sie musste auslagern und landete damit auf derselben Rutschbahn wie ein Spiele-PC.

Ein kompaktes Gerät mit 128 Gigabyte gemeinsamem Speicher schlägt diese Karte bei genau dieser Aufgabe deutlich, und zwar zu einem Bruchteil des Preises. Das ist der ganze Punkt dieses Artikels in einem Satz: Es geht nicht darum, wie viel man ausgibt, sondern ob das Modell hineinpasst.

Die Ausnahme, die man kennen muss

Es gibt allerdings einen Fall, in dem die Regel nachgibt, und er ist inzwischen der wichtigste.

In einem Vergleichstest lief ein Modell mit 26 Gigabyte, das zu 45 Prozent auf den Prozessor ausgelagert werden musste, schneller als ein Modell mit nur 9 Gigabyte, das komplett im Grafikspeicher lag. Auf der schnelleren der beiden getesteten Karten betrug der Vorsprung bis zu 13 Token pro Sekunde.

Der Grund ist die MoE-Architektur. Bei dem größeren Modell waren von 35 Milliarden Parametern pro Token nur drei aktiv. Ausgelagert wurde also viel, gelesen wurde wenig.

Für die Kaufentscheidung folgt daraus eine wichtige Einschränkung: Die harte Speichergrenze gilt vor allem für dichte Modelle. Bei MoE-Modellen kann Auslagern erstaunlich gut funktionieren, und praktisch alle interessanten neuen Modelle sind MoE-Modelle. Das mildert die Regel, hebt sie aber nicht auf. Der Sturz von 152 auf 13 Token pro Sekunde weiter oben betraf ebenfalls ein MoE-Modell, nur eines, bei dem der ausgelagerte Anteil viel größer war.

Die zweite Geschwindigkeit, von der niemand spricht

Ein Sprachmodell hat zwei Geschwindigkeiten, und Werbematerial nennt fast immer nur eine.

Die erste heißt Decode: wie schnell die Antwort Wort für Wort erscheint. Das ist die Zahl, die alle angeben. Sie hängt vor allem an der Speicherbandbreite.

Die zweite heißt Prefill: wie lange es dauert, bis das Modell überhaupt anfängt, nachdem es die Eingabe gelesen hat. Sie hängt an der Rechenleistung.

Bei einer kurzen Frage merkt man Prefill nicht. Bei einem hundertseitigen Dokument sitzt man da und wartet, bevor das erste Wort erscheint. Bei jeder einzelnen Anfrage. Das ist der Punkt, an dem lokale KI für Dokumentenarbeit und Programmierung kippt: nicht die Schreibgeschwindigkeit, sondern die Stille davor.

Übrigens würde ein gut gebautes Dokumentensystem gar nicht bei jeder Frage alle vierzig PDFs vollständig durchreichen. Es würde zunächst die relevanten Stellen suchen. Darauf kommen wir am Ende zurück. Aber auch ein einzelnes langes Dokument kann Prefill und Speicher deutlich belasten.

Der dritte Zeitfaktor: wie viel das Modell denkt

Es gibt noch einen Zeitfresser, der mit Hardware überhaupt nichts zu tun hat. Moderne Modelle denken vor der Antwort sichtbar nach, und wie ausgiebig sie das tun, unterscheidet sich dramatisch.

In einem Vergleichstest beendete dasselbe Modell beim selben Prompt seinen Denkprozess einmal nach 800 und einmal nach 1.300 Token. Zwischen verschiedenen Modellen war der Unterschied noch größer: Eines investierte sehr viele Token ins Nachdenken, ein anderes kam mit deutlich weniger aus und schrieb die Antwort obendrein schneller.

Praktische Folge: Ein sparsam denkendes Modell auf langsamer Hardware kann sich flotter anfühlen als ein grüblerisches auf schneller. Wer beim Testen nur die Token pro Sekunde vergleicht, misst am Erlebnis vorbei.

Wie sehr das aus dem Ruder laufen kann, zeigt ein dokumentierter Fall: Ein 27-Milliarden-Modell sprengte bei einer Programmieraufgabe mit der höchsten Denkstufe ein Kontextfenster von gut 32.000 Token, bevor es überhaupt fertig war. Eine Stufe niedriger reichte dasselbe Fenster aus. Der Denkaufwand ist also kein Naturgesetz, sondern eine Einstellung.

Als Anhaltspunkt für die Einordnung: Ohne ausgedehnten Denkprozess fühlen sich 30 Token pro Sekunde bereits zügig an, das ist mehrfach schneller, als ein Mensch liest.

Und noch etwas frisst Speicher

Es gibt einen Posten, den fast jede Kaufberatung unterschlägt: den KV-Cache. Das Modell muss sich merken, was bisher im Gespräch stand, und diese Zwischenergebnisse landen ebenfalls im Speicher. Der Cache wächst mit der Länge des Kontexts.

Die praktische Folge: Ein Modell mit 59 Gigabyte Gewichten ist auf einem 64-Gigabyte-System zwar ladbar. Aber es ist kein 64-Gigabyte-Modell. Es passt gerade so hinein und lässt kaum Reserve für KV-Cache, Arbeitsdaten und längere Kontexte.

Als Faustregel: mindestens zehn bis zwanzig Prozent Reserve über die Modellgröße hinaus bei kurzen Gesprächen, zwanzig bis vierzig Prozent bei Dokumentenarbeit. Das sind Sicherheitspuffer, keine Berechnung. Der tatsächliche Bedarf hängt von der Architektur des jeweiligen Modells ab. Nicht ohne Grund nennt OpenAI für ein Modell mit 59 Gigabyte Gewichten eine 80-Gigabyte-Karte als geeignete Plattform.

Wie real dieser Aufschlag ist, zeigt ein dokumentierter Fall. Ein größeres Modell namens Qwen3-235B wollte rund 110 Gigabyte belegen. Getestet wurde es auf einer Maschine mit vier Grafikkarten und zusammen 128 Gigabyte Speicher, also nominell deutlich mehr als das Modell braucht. Es reichte trotzdem nicht: Modellschichten und KV-Cache passten nicht gleichzeitig hinein. Am besten lief es, wenn 84 von 96 Schichten auf den Grafikkarten lagen, der Rest auf dem Prozessor. Ergebnis knapp 15 Token pro Sekunde.

128 Gigabyte für ein 110-Gigabyte-Modell sind also zu wenig. Wer beim Kauf nur die Modellgröße gegen die Speichergröße rechnet, verrechnet sich verlässlich.

Der Turbo, der nichts kostet

Bis hierhin ging es darum, wie man den Flaschenhals Speicherbandbreite umgeht, indem man passende Hardware kauft. Es gibt einen zweiten Weg, und er kostet keinen Cent.

Er heißt Multi Token Prediction, kurz MTP. Die Idee: Das Modell bekommt ein kleines Zusatzmodul, das sehr schnell Entwürfe für die nächsten Token erzeugt. Diese Entwürfe sind für sich genommen ungenauer, aber das Hauptmodell kann mehrere davon in einem einzigen Durchlauf prüfen, statt jedes Token einzeln zu erarbeiten. Sind die Entwürfe richtig, fallen mehrere Token auf einmal heraus.

Der entscheidende Punkt, und der Grund, warum das kein fauler Kompromiss ist: Präzision geht dabei nicht verloren.Das Hauptmodell behält das letzte Wort, es arbeitet nur effizienter.

Was das in Zahlen bedeutet

Ein Vergleichstest hat mehrere Modelle jeweils mit und ohne MTP gemessen:

Modell	Grafikkarte	ohne MTP	mit MTP
Gemma 4 (12B, dicht)	RTX 3090	47 t/s	171 t/s
Gemma 4 (12B, dicht)	RX 9060 XT (16 GB)	21 t/s	74 t/s
Qwen3.5 (9B, dicht)	RX 9060 XT (16 GB)	32 t/s	69 t/s
Qwen3.8 (27B, dicht)	RTX 3090	34 t/s	58 t/s
Qwen3.6 (35B, MoE)	RX 9060 XT (16 GB)	33 t/s	55 t/s

Das Fazit der Tester: mindestens 25 Prozent Zugewinn in allen Versuchen, bei einigen Modellen eine Verdreifachung.

Für die Kaufentscheidung ist das erheblich. Eine 16-Gigabyte-Karte für gut 400 Euro erreicht mit MTP Werte, die dieser Artikel bisher deutlich teureren Geräten zugeschrieben hat.

Zwei Einschränkungen

Erstens wirkt MTP vor allem bei dichten Modellen. Sie lesen pro Token alle Parameter, hier ist der Hebel groß. MoE-Modelle bewegen ohnehin weniger Daten, entsprechend kleiner fällt der Gewinn aus. Das ist dieselbe Mechanik wie bei der Ausnahme weiter oben, nur von der anderen Seite betrachtet.

Zweitens beschleunigt MTP nur die Ausgabe, nicht das Einlesen. Beim Prefill nahm die Geschwindigkeit in den Messungen sogar leicht ab. Wer hauptsächlich lange Dokumente verarbeitet, profitiert also weniger als jemand, der sich unterhält.

Was man dafür tun muss

Nicht viel. Man braucht eine Software, die es unterstützt, etwa llama.cpp, und ein Modell, für das eine MTP-Variante vorliegt. Bei manchen Modellen ist das Zusatzmodul eingebaut, bei anderen lädt man eine zweite, wenige hundert Megabyte große Datei dazu.

Dann bleibt ein einziger Parameter zum Einstellen: wie viele Token das Zusatzmodul pro Durchlauf vorschlagen soll. Das Optimum liegt je nach Modell bei zwei, vier oder sieben. Man erhöht den Wert schrittweise, bis die Geschwindigkeit nicht mehr steigt.

Die praktische Konsequenz für den Kauf: Prüfe, ob dein Zielmodell MTP unterstützt, bevor du Hardware bestellst. Es kann denselben Effekt haben wie die nächstteurere Grafikkarte.

Fünf Fragen, die wie eine klingen

Wer in ein Forum schreibt „läuft Modell X auf Hardware Y?“, bekommt fünf verschiedene Antworten von fünf Leuten, die alle recht haben. Weil es fünf verschiedene Fragen sind:

1. Passt es grundsätzlich? Nur die Modelldatei.
2. Passt es mitsamt Kontext? Plus KV-Cache.
3. Läuft es schnell genug für mich? Plus Bandbreite.
4. Kann es mehrere Leute gleichzeitig bedienen? Plus Reserve pro Nutzer.
5. Kann ich es anpassen? Je nach Verfahren eine ganz andere Größenordnung.

Fast jede Enttäuschung mit lokaler KI entsteht zwischen Stufe eins und zwei: Das Modell lädt, und dann reicht der Kontext nicht.

Vier Wege, vier Charaktere

Der Vernünftige: ein normaler PC, inzwischen ab etwa 2.500 Euro

Ein aktueller Prozessor, 32 Gigabyte Arbeitsspeicher, eine Grafikkarte mit 16 Gigabyte. Die c’t hat genau so ein System durchgemessen.

Was geht: Modelle bis etwa zwölf Gigabyte, flott, mit rund 150 Token pro Sekunde. Bildgenerierung. Kurze Videos. Es ist außerdem ein vollwertiger Arbeits- und Spielerechner.

Was nicht geht: die großen Modelle.

Zur Frage AMD oder NVIDIA gibt es zwei Messungen, die sich zu widersprechen scheinen und in Wahrheit beide stimmen.

Bei einem Modell, das nicht in den Grafikspeicher passte, kostete die AMD-Karte rund 750 Euro und das NVIDIA-Gegenstück rund 1.300. Der Aufpreis von 73 Prozent brachte gerade 13 Prozent mehr Tempo. Bei Modellen dagegen, die vollständig hineinpassen, lag eine NVIDIA-Karte in einem anderen Test 39 bis 63 Prozent vor der AMD-Karte, bei etwa 30 Prozent Aufpreis.

Die Auflösung ist dieselbe Regel wie im ganzen Artikel: Sobald ausgelagert werden muss, hängen beide Karten am selben Flaschenhals, und der Vorsprung des schnelleren Chips verpufft. Passt das Modell hinein, kann er sich entfalten. Wer also Modelle bis etwa zwölf Gigabyte fahren will, bekommt für den NVIDIA-Aufpreis tatsächlich Gegenwert. Wer über die Speichergrenze hinaus arbeitet, nicht.

Bei Bildgenerierung dreht sich das Verhältnis ohnehin komplett zugunsten von NVIDIA.

Der Speicherriese: AMD Strix Halo mit 128 GB, rund 3.800 Euro

Ein kompakter Rechner mit einem Chip namens Ryzen AI Max+ 395, der bis zu 128 Gigabyte Unified Memorybesitzt, also gemeinsamen Speicher, auf den Prozessor und Grafikeinheit gleichermaßen zugreifen. Damit entfällt das klassische Verschieben eines Modells zwischen getrenntem Arbeits- und Grafikspeicher. Teilen müssen sich Betriebssystem, Prozessor und Grafikeinheit die Kapazität allerdings weiterhin, es stehen also nie die vollen 128 Gigabyte allein dem Modell zur Verfügung.

Fertiggeräte mit dieser Ausstattung liegen im deutschen Handel derzeit bei etwa 3.750 bis 3.810 Euro, AMDs eigene Referenzbox startet bei 3.999 US-Dollar. Varianten mit 64 Gigabyte gibt es ab rund 2.200 Euro, für gpt-oss-120b reichen die aber nicht.

Das ist damit zwar nicht mehr die günstige Lösung, die es vor der Speicherkrise war, aber weiterhin eine der wenigen Möglichkeiten, ein Modell der 60- bis 90-Gigabyte-Klasse vollständig im Speicher zu halten. Für gpt-oss-120b liegen die veröffentlichten Werte zwischen rund 30 und 42 Token pro Sekunde, je nach Software und Kontextlänge. AMD selbst führte das Modell auf einem 128-Gigabyte-System mit rund 30 Token pro Sekunde vor, optimierte Messungen mit llama.cpp erreichten bei kurzem Kontext gut 42 und fielen bei 32.000 Token auf etwa 35. Auch am unteren Ende ist das schneller, als die meisten Menschen lesen.

Der Haken liegt in der Software. Die Einrichtung kann deutlich mehr Handarbeit verlangen als auf einem Mac. Besonders unter Linux hängen Leistung und Modellkompatibilität von Treibern, Bibliotheksversionen und der gewählten Software ab. Wer ein Fertiggerät mit vorkonfiguriertem System kauft und mit LM Studio oder Ollama arbeitet, hat es erheblich leichter.

Die Unterschätzte: Apple

Apple wird bei lokaler KI oft übersehen, weil das Unternehmen keine Grafikkarten mit CUDA anbietet, der Programmierschnittstelle von NVIDIA, die seit Jahren der Standard in diesem Feld ist. Für große Sprachmodelle hat Apple Silicon aber einen entscheidenden Vorteil: schnellen gemeinsamen Speicher, bis zu 546 Gigabyte pro Sekunde beim M4 Max und 819 beim M3 Ultra.

In einem c’t-Test erreichte ein Mac Studio mit M4 Max und 128 Gigabyte rund 82 Token pro Sekunde mit gpt-oss-120b, und zwar bei 120 Watt Leistungsaufnahme. Ein Desktop-PC mit einer RTX 4090 lieferte in derselben Messreihe vierzehnmal weniger Token pro Watt.

Preislich beginnt die Mac-Studio-Reihe bei rund 2.900 Euro, die hier interessante Ausbaustufe mit 128 Gigabyte liegt deutlich darüber. Genaue Beträge nennt erst der Konfigurator, und sie bewegen sich derzeit ebenfalls.

Zwei Einschränkungen zur Ehrlichkeit. Erstens ist der Wert von 82 Token/s eine Einzelmessung unter guten Bedingungen; realistisch sollte man mit 50 bis 80 planen. Und bei langen Dokumenten wird aus dem Vorsprung schnell nichts: Ein Vergleichstest verzeichnete für einen Mac Studio einen Einbruch von 34 auf 6 Token pro Sekunde mit wachsendem Kontext, und ein Nutzer eines 128-Gigabyte-MacBooks berichtet, ab etwa 10.000 Token gerate praktisch alles ins Stocken. Der Speicher entscheidet, ob das Modell läuft. Wie lange es schnell bleibt, entscheidet der Kontext.

Zweitens, und das ist beim Kauf entscheidend: Gemeint ist nicht irgendein Mac Studio, sondern ausdrücklich die Konfiguration mit 128 Gigabyte gemeinsamem Speicher. Die Einstiegsvarianten mit 36 oder 64 Gigabyte lösen die beschriebene Aufgabe gerade nicht. Apple dokumentiert den M4 Max mit bis zu 128 Gigabyte gemeinsamem Speicher. Für den größeren M3 Ultra wurden zur Einführung bis zu 512 Gigabyte angekündigt. Welche Konfiguration im deutschen Store tatsächlich bestellbar ist, sollte unmittelbar vor dem Kauf geprüft werden.

Die Vielseitige: NVIDIA

NVIDIA ist die breiteste KI-Plattform überhaupt. Das CUDA-Ökosystem, die durchgängige Unterstützung durch gängige Entwicklungswerkzeuge, Training und Anpassung eigener Modelle, Server-Software für mehrere gleichzeitige Nutzer, Bild und Video: In all diesen Bereichen ist NVIDIA die sicherste Wahl. Und solange ein Modell in den Grafikspeicher passt, ist auch das Prefill sehr schnell.

Wie deutlich der Vorsprung bei Bildern ausfällt, zeigen diese Werte:

System	Ein Bild mit Flux-Dev
RTX 4090	12 Sekunden
Mac Studio M3 Ultra	65 Sekunden
Mac Studio M4 Max	110 Sekunden

Der Grund liegt in der Software: Praktisch alle Bildmodelle sind auf CUDA optimiert, und viele liegen in einem Datenformat vor, mit dem Apple-Hardware sich schwertut.

Der Nachteil für den privaten Betrieb großer Sprachmodelle ist ein anderer: zu wenig Grafikspeicher pro Euro. Genau daran scheitert NVIDIA in der Disziplin, um die es in diesem Artikel geht.

Warum mehrere Grafikkarten für Einzelnutzer die falsche Antwort sind

Naheliegender Gedanke: Wenn eine Karte zu wenig Speicher hat, nimm eben vier. Rechnerisch stimmt das, praktisch führt es in die Irre.

Ein c’t-Test mit vier Grafikkarten zeigt, warum. Bei einer einzelnen Anfrage lagen die vier Chips bei elf bis fünfzehn Prozent Auslastung und unter 70 Watt pro Karte. Sie langweilten sich. Erst als das System viele gleichzeitige Anfragen bedienen musste, kam es auf über 2.000 ausgegebene Token pro Sekunde und ging dabei bis an seine thermische Grenze.

Das Fazit der Tester ist für Privatkäufer die wichtigste Information des ganzen Berichts: Einzelanfragen unterfordern ein solches System. Der Vorteil mehrerer Karten entsteht ausschließlich im Parallelbetrieb, also wenn eine Abteilung oder eine Arbeitsgruppe darauf zugreift.

Für eine Person, die abends ihre Dokumente durchsucht, ist das die falsche Bauform. Nicht zu schwach, sondern für die falsche Aufgabe gebaut, und dabei laut, durstig und teuer. Wer allein arbeitet, fährt mit einem Gerät besser, das seinen Speicher am Stück anbietet, statt ihn auf vier Karten zu verteilen.

Grobe Größenklassen, keine Rangliste der Intelligenz

Token pro Sekunde sagen, wie schnell ein Modell schreibt, nicht wie gut es arbeitet. Grob lässt sich das so sortieren:

• 3 bis 8 Milliarden Parameter: einfache Zusammenfassungen, Sortieren, kurze Antworten. Erfindet spürbar oft etwas dazu.
• 12 bis 20 Milliarden: brauchbare Alltagstexte, Informationen aus Dokumenten ziehen, einfache Programmierhilfe.
• 24 bis 35 Milliarden: derzeit die spannendste Klasse, siehe unten.
• 60 Milliarden und mehr: häufig stabileres Deutsch und besseres Schlussfolgern.

Diese Liste ist ausdrücklich keine Rangliste. Modellgeneration, Trainingsdaten, Nachtraining, aktive Parameter und Spezialisierung können wichtiger sein als die reine Parameterzahl. Ein modernes, gut trainiertes 30-Milliarden-Modell schlägt ein zwei Jahre altes 70-Milliarden-Modell regelmäßig.

Die Klasse, die gerade alles verschiebt

Im August 2026 veröffentlichte Alibaba die Gewichte eines Modells mit 27 Milliarden Parametern. Die vom Hersteller selbst vorgelegten Benchmarks sehen es beim Programmieren und bei Agentenaufgaben gleichauf mit oder vor einem kommerziellen Spitzenmodell, das im Februar desselben Jahres erschienen war. Herstellerbenchmarks sind mit Vorsicht zu genießen, aber ein unabhängiger Praxistest fiel ähnlich aus: Das Modell entwickelte in zwölf Minuten ohne Rückfragen eine vollständige Programmierschnittstelle samt Benutzerverwaltung, der Code ließ sich beim ersten Versuch übersetzen, und die Tester hielten das Ergebnis für nicht unterscheidbar von dem eines kommerziellen Spitzenmodells.

Bemerkenswert ist dabei, dass es sich um ein dichtes Modell handelt, nicht um ein MoE-Modell. Pro Token arbeiten also alle 27 Milliarden Parameter mit. Das kostet Bandbreite, macht das Modell aber auch besonders empfänglich für den Beschleunigungstrick aus dem Kapitel über den Turbo.

Das Entscheidende für diesen Artikel ist der Speicherbedarf. In der Quantisierung Q5_K_M belegt dieses Modell rund 22 Gigabyte und passt damit in eine gute Spielegrafikkarte. In einem für aktuelle NVIDIA-Karten optimierten 4-Bit-Format läuft es sogar mit 16 Gigabyte.

Das verschiebt die Kaufentscheidung spürbar. Wer vor einem Jahr Programmierhilfe auf Spitzenniveau wollte, brauchte ein Abo bei einem Cloudanbieter. Heute reicht dafür unter Umständen eine Karte für 420 Euro. Die Klasse zwischen 24 und 35 Milliarden Parametern ist damit nicht mehr das Arbeitspferd für Zwischendurch, sondern für viele der eigentliche Zielpunkt.

Eine Einschränkung nennen die Tester allerdings: Das Modell neigt dazu, einfache Aufgaben zu gründlich zu durchdenken und sich dabei in Details zu verlieren. Das kostet Zeit und passt zu dem, was wir oben über den dritten Zeitfaktor gesagt haben.

Der wunde Punkt: Deutsch

Viele offene Modelle sind bei Trainingsdaten, Nachtraining und Benchmarks stark englisch geprägt. Deutsch wird je nach Tokenizer weniger effizient zerlegt, die Verarbeitung dauert also länger. Wie stark die Qualität darunter leidet, hängt allerdings deutlich von der Modellfamilie ab; moderne mehrsprachige Modelle können sehr gutes Deutsch beherrschen.

Bei kleinen Modellen ist das gravierend. Die c’t testete intern Zusammenfassungen und PDF-Auswertungen mit stark verkleinerten Modellen auf schwacher Hardware. Das Ergebnis: funktionierte schlicht nicht gut. Auf die Frage nach einem verkleinerten Modell, das für einen bestimmten Zweck gut laufe, hatte die befragte Fachredakteurin keine Empfehlung. Sie kannte kein überzeugendes Beispiel.

Nicht vierzig PDFs in den Prompt: RAG

Zurück zu Jonas‘ eigentlichem Problem. Sein erster Reflex war, alle vierzig Dokumente auf einmal vorzulegen. Das ist die aufwendigste denkbare Methode und meist die falsche.

Die übliche Lösung heißt RAG (Retrieval Augmented Generation). Das System durchsucht zunächst die eigenen Dokumente und legt dem Modell nur die relevanten Fundstellen vor. Statt vierzig PDFs wandern drei Absätze in die Anfrage.

Das senkt den Hardwarebedarf erheblich, weil sowohl Prefill als auch Kontext viel kleiner ausfallen. Ein 14- bis 30-Milliarden-Modell auf einer Karte mit 24 Gigabyte kann damit erstaunlich weit kommen.

Man sollte RAG allerdings nicht für eine Wunderlösung halten. Es verkleinert nicht das Modell und macht aus einem schwachen kein starkes. Es reduziert die Menge der jeweils vorgelegten Information, mehr nicht. Die Qualität hängt zusätzlich an der Texterkennung eingescannter Seiten, an der Aufteilung der Dokumente in Abschnitte, am Suchmodell, an der Nachsortierung der Treffer und an einer nachvollziehbaren Quellenanzeige. Jeder dieser Schritte kann das Ergebnis ruinieren, auch wenn das Sprachmodell selbst gut ist.

Das Runbook: erst testen, dann kaufen

Schritt 1: Nichts kaufen

Der wertvollste Rat aus dem gesamten Recherchematerial kostet null Euro. Wer einen halbwegs aktuellen PC mit einer Grafikkarte ab zwölf, besser sechzehn Gigabyte hat, kann sofort loslegen.

Und falls keine passende Karte im Rechner steckt: Der Einstieg bleibt der günstigste Weg, auch wenn er teurer geworden ist. Karten mit 16 Gigabyte lagen Anfang August bei etwa 420 Euro (AMD) und 550 Euro (NVIDIA); genau diese Klasse ist von der Speicherkrise allerdings besonders betroffen, in Asien verteuerten sich einzelne Modelle innerhalb einer Woche um fast die Hälfte. In einem Praxistest erreichten sie mit drei verschiedenen Modellen gut 30 bis über 60 Token pro Sekunde, was die Tester als für zahlreiche KI-Aufgaben brauchbar einstuften.

Eine gebrauchte Karte mit 24 Gigabyte, lange der Geheimtipp für lokale KI, liegt inzwischen bei etwa 1.700 Euro. Wer auf den Gebrauchtmarkt ausweicht, entkommt der Preisentwicklung nicht. Sie ist dort längst angekommen.

Das ist nicht die Maschine für 120-Milliarden-Modelle. Aber es ist die Eintrittskarte, um herauszufinden, ob man eine solche Maschine überhaupt braucht, und sie kostet ein Viertel davon.

Schritt 2: LM Studio installieren

Die Option „Staff Picks“ aktiviert lassen. Sie beschränkt die Auswahl auf Modelle geprüfter Herausgeber und senkt damit das Risiko, ersetzt aber keine eigene Prüfung. Ein grünes Häkchen zeigt an, dass ein Modell komplett auf die Grafikkarte passt. Genau darauf achten.

Ein Wort zur Sicherheit: Modelle sind Downloads aus dem Internet. Reine Gewichtsdateien in Formaten wie GGUFoder safetensors sind deutlich risikoärmer als ausführbarer Programmcode, weil sie im Wesentlichen Zahlen enthalten. Kritischer sind Installationsskripte, Modelle, die eigenen Code mitbringen und ausführen wollen, unbekannte Container und Erweiterungen für Bildgenerierungs-Software. Nur aus vertrauenswürdigen Quellen laden und fremden ausführbaren Code möglichst isolieren, etwa über ein separates Benutzerkonto oder einen Container (eine begrenzte Laufzeitumgebung, deren Schutzwirkung allerdings von der konkreten Konfiguration abhängt). Ein Container ist keine automatische Mauer: Er teilt sich den Systemkern mit dem Gastgeber und kann über freigegebene Ordner oder erweiterte Rechte weitreichenden Zugriff bekommen. Sinnvoll ist er mit möglichst wenigen Rechten und nur den tatsächlich benötigten Freigaben.

Schritt 2b: Nach MTP-Varianten sehen

Bevor du über Hardware nachdenkst, prüfe, ob es dein Zielmodell in einer MTP-Version gibt. Der Geschwindigkeitsgewinn ist umsonst und kann eine Kaufentscheidung erübrigen. In LM Studio ist das nicht immer sichtbar; wer den Effekt ausreizen will, arbeitet direkt mit llama.cpp.

Ein Detail am Rande, das dort leicht Leistung kostet: Startet man den Server ohne weitere Angabe, richtet er sich automatisch auf vier gleichzeitige Anfragen ein. Für den Einzelbetrieb ist das unnötig und bremst leicht. Ein Parameter für „ein Nutzer“ behebt es.

Schritt 3: Mit echten Aufgaben testen

Nicht „schreib mir ein Gedicht“, sondern genau das, wofür die Maschine gedacht ist. Dabei auf zwei Dinge achten, die in keinem Benchmark stehen: Wie lange dauert es bis zum ersten Wort, wenn die Eingabe lang ist? Und wird die Antwort schlechter, wenn das Gespräch länger wird?

Schritt 4: Erst jetzt entscheiden

Wenn das Ziel ist	dann
Große Sprachmodelle, Text, Dokumente	Strix Halo oder Mac Studio mit 128 GB
Bilder, Video, Programmierung, Training	NVIDIA, ab 24 GB Grafikspeicher
Erst einmal alles ausprobieren	Gebrauchte Grafikkarte in den vorhandenen PC

Die Rechnung, die selten jemand aufmacht

Bei vier Stunden täglicher Nutzung und 35 Cent je Kilowattstunde:

System	Beispielhafte mittlere Lastaufnahme	Stromkosten pro Jahr
Mac Studio M4 Max im genannten Test	rund 120 W	rund 61 €
Strix-Halo-System	je nach Gerät etwa 80 bis 140 W	rund 41 bis 72 €
PC mit RTX 4090	je nach Konfiguration 350 bis 550 W	rund 179 bis 281 €
PC mit zwei Grafikkarten	häufig 600 W und mehr	ab rund 307 €

Diese Rechnung nimmt eine mittlere Leistungsaufnahme während vier täglicher Laststunden an. Lastschwankungen und die Frage, ob am Chip oder an der Steckdose gemessen wurde, bleiben unberücksichtigt. Die 450 Watt sind ein plausibler, kein universeller Wert.

Über drei Jahre summiert sich der Unterschied auf mehrere hundert Euro. Zwei Posten fehlen in dieser Tabelle allerdings noch, und beide treffen ausgerechnet die Geräte, die man dauerhaft laufen lassen will.

Der Leerlauf, den niemand einrechnet

Ein von der c’t getestetes Workstation-System mit vier Grafikkarten zog im Leerlauf 226 Watt aus der Steckdose. Die Karten allein kamen dabei jeweils auf über 30 Watt, und zwar ohne angeschlossenen Monitor und ohne jede Rechenlast.

Für einen Rechner, der als Heimserver rund um die Uhr bereitstehen soll, ist das die entscheidende Zahl. 226 Watt dauerhaft ergeben knapp 2.000 Kilowattstunden im Jahr, bei 35 Cent also etwa 690 Euro, ohne dass die Maschine irgendetwas tut. Ein sparsames Gerät mit gemeinsamem Speicher liegt im Leerlauf bei einem Bruchteil davon. Wer nur die Lastaufnahme vergleicht, übersieht den größeren Posten.

Und der Lärm, mit Zahlen

Im selben Test wurden 0,6 Sone im Leerlauf gemessen, 2,5 Sone bei Teillast und 6,8 Sone unter Volllast. Die Empfehlung der Tester war eindeutig: ein solches System möglichst in einem separaten, gut gekühlten Raum betreiben.

Das ist keine Nebensächlichkeit, sondern für viele die eigentliche Entscheidungsgrenze. Ein Gerät, das man im Arbeitszimmer nicht neben sich erträgt, wird nicht benutzt.

Und dann die unbequemste Rechnung: Für die 2.500 bis 4.500 Euro einer lokalen Maschine bekommt man alternativ Zugang zu einem Spitzenmodell über eine API (eine Schnittstelle, über die Software direkt mit einem Dienst kommuniziert). Bei gelegentlicher privater Nutzung finanziert dieser Betrag viele Jahre. Bei langen Dokumenten, automatisierten Abläufen oder intensiver Nutzung kann sich die Rechnung allerdings deutlich schneller drehen. Als reine Kostenoptimierung geht sie bei üblicher privater Nutzung trotzdem selten auf. Als Datenschutzentscheidung, als Unabhängigkeitsentscheidung oder aus Freude an der Sache sehr wohl. Man sollte nur wissen, welche dieser Entscheidungen man trifft.

Der dritte Weg: mieten statt kaufen

Zwischen Kaufen und Cloud-Abo liegt eine Option, die selten mitgedacht wird: einen Server mit Grafikkarte mieten. Die Daten laufen dann zwar nicht im eigenen Haus, aber bei einem Anbieter eigener Wahl, notfalls mit Standort in Deutschland.

Ein deutscher Anbieter verlangt für einen Server mit einer Workstation-Karte mit 20 Gigabyte Grafikspeicher und 64 Gigabyte Arbeitsspeicher rund 278 Euro im Monat, dazu einmalig 135 Euro Einrichtung. Der Test rechnet vor: Die verbauten Komponenten sind etwa 6.000 Euro wert, und nach rund 21 Monaten Dauerbetrieb hätte man diesen Betrag an Miete gezahlt. Rechnet man die Stromkosten des Eigenbetriebs mit ein, verschiebt sich der Punkt auf etwa 26 Monate.

Interessant ist der Vergleich mit einem großen internationalen Cloudanbieter: Dort kostet dieselbe Kartenklasse umgerechnet knapp einen Euro pro Stunde, also über 720 Euro im Monat, und der Datenverkehr wird zusätzlich berechnet.

Für wen sich das lohnt: Wer ausprobieren will, ob lokale KI überhaupt zum eigenen Arbeitsablauf passt, ohne vierstellig in Vorleistung zu gehen. Wer den Server nur zeitweise braucht und stundenweise zahlen kann. Und wer die aktuelle Speicherkrise aussitzen möchte, statt zu Höchstpreisen zu kaufen.

Für wen nicht: Für private Dauernutzung sind knapp 300 Euro im Monat zu viel, und wer sich für lokale KI aus Datenschutzgründen interessiert, hat die Daten dann eben doch woanders liegen, nur bei einem anderen Anbieter.

Wo die Grenze wirklich verläuft

Aktuelle Spitzenmodelle können selbst quantisiert mehrere hundert Gigabyte bis über ein Terabyte benötigen. Sie liegen damit außerhalb jeder realistischen Heimhardware, und zwar nicht um ein paar Grafikkarten, sondern um Serverschränke.

Dabei entsteht leicht ein Missverständnis, das ausgeräumt gehört. Mehrere dieser Modelle stehen inzwischen unter offenen Lizenzen und lassen sich von jedem herunterladen, ohne Registrierung, ohne Gebühr. Im Sommer 2026 gab es etwa ein frei lizenziertes Modell mit rund 750 Milliarden Parametern, dessen Gewichte in voller Präzision über ein Terabyte belegen. Die Anbieter selbst verweisen für den Betrieb auf Workstations mit sehr viel Grafikspeicher oder auf stundenweise gemietete Rechenzeit.

Offen verfügbar und ausführbar sind zwei verschiedene Dinge. Die Lizenz kostet nichts, die Hardware schon. Wer in Ankündigungen liest, ein Spitzenmodell sei nun frei nutzbar, sollte diesen Satz mitlesen.

Interessant ist die Wendung dazwischen: Der Tester, der Macs mit 128 und mit 512 Gigabyte verglich, fand jenseits der 63-Gigabyte-Klasse keine Modelle, für die sich der zusätzliche Speicher gelohnt hätte. Die nächstbesseren sprengten auch 512 Gigabyte.

Für einen einzelnen privaten Nutzer markieren 128 Gigabyte derzeit häufig den wirtschaftlich sinnvollen oberen Bereich. Mehr Speicher lohnt sich meist erst bei einem konkret benannten Modell, sehr langen Kontexten, mehreren gleichzeitigen Nutzern oder eigener Modellanpassung.

Was Jonas am Ende gemacht hat

Er hat nichts gekauft. Noch nicht.

Er hat LM Studio auf seinem Spiele-PC installiert und ein 14-Milliarden-Modell getestet, mit drei echten Arztbriefen. Das Ergebnis war ordentlich. Nicht brillant, aber ordentlich: Die Struktur stimmte, die Medikamentenliste war korrekt übernommen, zwei Fachbegriffe waren daneben.

Und genau hier ist ein Hinweis nötig, den dieser Artikel nicht auslassen darf. Bei medizinischen Unterlagen darf ein Sprachmodell beim Sortieren, Suchen und Zusammenfassen helfen, mehr nicht. Diagnosen, Medikamentennamen, Dosierungen und Fristen müssen ausnahmslos am Original geprüft werden. Ein Modell kann Zusammenhänge falsch wiedergeben, Wirkstoffe verwechseln oder Dosierungen verrutschen lassen, und es tut das in demselben souveränen Tonfall wie bei allem anderen. „Lokal“ schützt davor, dass die Daten zu einem Cloud-Anbieter wandern. Es macht die Antwort nicht medizinisch zuverlässig. Und auch der Datenschutz endet nicht beim Verzicht auf den Upload: Betriebssystem, Erweiterungen, Sicherungskopien und Netzwerkzugriff gehören zur selben Frage.

Wichtiger war für Jonas ohnehin eine andere Erkenntnis. Er brauchte gar keine Zusammenfassung aller vierzig Dokumente auf einmal. Er brauchte die Fähigkeit, gezielt in ihnen zu suchen. Für diese Aufgabe reicht deutlich kleinere Hardware, als er zunächst dachte.

Das ist vielleicht die eigentliche Lehre. Die Frage lautet fast nie „Welche Hardware ist die beste?“. Sie lautet „Was will ich eigentlich genau tun?“. Und diese Frage lässt sich nicht durch Lesen beantworten, sondern nur durch Ausprobieren.

Was ist mit günstigen KI-Beschleunigern?

Auf der Suche stolpert man über USB-Sticks und Steckkarten für 70 bis 200 Euro, die als KI-Beschleuniger beworben werden. Ältere Vertreter wie Googles Coral und die ersten AI HATs für den Raspberry Pi sind für Bilderkennung, Kameraauswertung und andere fest umrissene Aufgaben gedacht. Sprachmodelle können sie nicht ausführen, weil ihnen eigener Speicher fehlt.

Neuere Beschleuniger mit eigenem Arbeitsspeicher, etwa der Hailo-10H im Raspberry Pi AI HAT+ 2 mit 8 Gigabyte, führen auch kleine Sprachmodelle aus. Einen Rechner für große Modelle ersetzen sie nicht. Ihre Stärke ist der sparsame Dauerbetrieb bei 2,5 Watt statt mehreren hundert: Klassifikation, Suchindizes, Kameraüberwachung, Sprachbefehle.

Ausführlich in einem eigenen Beitrag: KI-Beschleuniger: Der übersehene Markt zwischen Bastelplatine und Grafikkarte. Dessen Kernaussage lautet: Diese Geräte sind keine günstige Abkürzung zu dem, was in diesem Artikel beschrieben wird, sondern eine andere Werkzeuggattung. Ein Beschleuniger zieht 2,5 Watt, ein PC mit kräftiger Grafikkarte rund 450. Das eine lässt man für eine Aufgabe anlaufen, das andere läuft das ganze Jahr durch. Die entscheidende Frage vor dem Kauf lautet deshalb nicht, wie viele Rechenoperationen man für sein Geld bekommt, sondern ob das Gerät gelegentlich etwas Großes rechnen oder ständig etwas Kleines erledigen soll.

Und jetzt?

Wir erleben gerade etwas Merkwürdiges. Technologie, die vor drei Jahren ausschließlich in Rechenzentren mit eigener Stromversorgung existierte, läuft heute auf einem Gerät, das leiser ist als ein Kühlschrank und weniger verbraucht als ein Wasserkocher.

Gleichzeitig wächst der Abstand nach oben. An der Spitze steigen Modell- und Rechenanforderungen weiterhin schneller, als typische Heimhardware mitwächst. Zugleich werden kleinere Modelle überraschend leistungsfähig. Beides passiert nebeneinander: Demokratisierung und Entfernung.

Es ist noch nicht ausgemacht, welche Bewegung sich durchsetzt. Werden Modelle so effizient, dass die Qualitätslücke zwischen lokal und Cloud schrumpft? Der Trend zu kleineren, klüger trainierten Modellen spricht dafür. Oder zieht die Spitzenklasse davon, und lokale KI bleibt dauerhaft die Zweitbesetzung für alles, was man niemandem anvertrauen will?

Vielleicht ist das aber die falsche Frage. Vielleicht lautet die richtige: Wie viel Qualität bin ich bereit einzutauschen für die Möglichkeit, die Diagnose meines Vaters auszuwerten, ohne sie an einen fremden Dienst zu schicken?

Wobei auch diese Möglichkeit Arbeit macht. Sie gilt nur, wenn das ganze System mitspielt: Betriebssystem, Zusatzprogramme, Sicherungskopien, Texterkennung. Der Verzicht auf den Upload ist der erste Schritt, nicht der letzte.

Jonas hat darauf noch keine Antwort. Aber er hat inzwischen eine begründete Meinung darüber, was ihm die Frage wert ist. Das ist mehr, als die meisten Menschen über ihre Daten sagen können.

FOUNDIC.org ist werbefrei und ohne Bezahlschranke. Wenn dir dieser Beitrag etwas gebracht hat: Lade uns auf einen Kaffee ein