Hardware für lokale KI: welcher Rechner dein Wunschmodell wirklich packt

Die häufigsten Fragen zu lokaler KI drehen sich alle um dasselbe: Wie viel Arbeitsspeicher brauche ich, was läuft auf meinem jetzigen Rechner, und ab wann lohnt sich ein eigenes Gerät? Diese Seite beantwortet sie der Reihe nach – ohne Umweg über Datenblätter.

Wie viel Arbeitsspeicher brauche ich für lokale KI?

Diese Frage steht am Anfang, und sie ist auch die richtige. Ein Sprachmodell wird beim Start in den Arbeitsspeicher geladen und bleibt dort, solange du damit arbeitest. Passt es hinein, läuft es flüssig. Passt es nicht hinein, wird es zäh – unabhängig davon, wie schnell der Prozessor ist.

Deshalb ist die Speichermenge die Zahl, auf die es beim Kauf ankommt. Alles andere im Datenblatt ist zweitrangig, solange dieser Punkt nicht geklärt ist. Und weil der Speicher bei kompakten Geräten fast immer fest verbaut ist, entscheidest du das genau einmal.

Grobe Orientierung. Wie viel ein bestimmtes Modell tatsächlich belegt, steht bei der Datei zum Herunterladen – und Windows sowie die Grafik brauchen zusätzlich ihren Teil.

Welches Modell läuft auf 16 GB?

Die kleine Klasse, also Modelle um sieben bis acht Milliarden Parameter. Das klingt nach wenig, ist es aber nicht: Für Zusammenfassungen, Übersetzungen, Textentwürfe, einfache Auswertungen und den Umgang mit E-Mails reicht diese Klasse erstaunlich weit. Wer lokale KI zum ersten Mal ausprobiert, sollte genau hier anfangen.

Die Grenzen merkst du an drei Stellen: bei langen Dokumenten am Stück, bei anspruchsvoller Programmierhilfe und beim Vergleich mit den großen Cloud-Diensten. Da fällt der Abstand deutlich auf.

Welches Modell läuft auf 32 GB?

Hier beginnt der Bereich, in dem sich lokale KI nach Arbeiten anfühlt statt nach Ausprobieren. Mittlere Modelle laufen komfortabel, längere Unterhaltungen bleiben flüssig, und die Antworten werden merklich präziser.

32 Gigabyte sind außerdem die Stufe, die für alles andere reicht: viele geöffnete Programme, große Tabellen, virtuelle Maschinen. Wenn du ohnehin einen neuen Arbeitsrechner brauchst und KI nur ein Teil davon ist, ist das die vernünftige Untergrenze.

Welches Modell läuft auf 64 GB?

Große Modelle in komprimierter Fassung, und zwar mit genug Reserve, dass auch eine lange Unterhaltung oder ein umfangreiches Dokument nicht sofort ans Limit führt. Für die allermeisten praktischen Aufgaben ist das die sinnvolle Zielgröße.

Wer täglich mit Verträgen, Angeboten, Protokollen oder Quelltext arbeitet, merkt hier den größten Sprung gegenüber der Stufe darunter – nicht weil das Modell schneller wäre, sondern weil es mehr auf einmal überblicken kann.

GMKtec EVO-T2 – ein Beispiel für ein Gerät dieser Stufe, mit 64 Gigabyte fest verbautem Speicher. Die Seite geht darauf ein, was die dort verbaute besondere SSD leistet und warum die höchste TOPS-Angabe der Reihe über die tatsächliche Alltagstauglichkeit wenig aussagt. Auch der 10-Gigabit-Netzwerkanschluss wird eingeordnet, der in dieser Geräteklasse ungewöhnlich ist.

Was geht mit 128 GB?

Diese Stufe ist die Oberklasse für den Hausgebrauch. Hier lassen sich die größten Modelle betreiben, die für normale Hardware überhaupt angeboten werden – Aufgaben also, für die man sonst einen Server oder einen Cloud-Dienst gebraucht hätte.

Ehrlich dazu: Für die meisten Leute ist das mehr, als sie je abrufen. Die Stufe lohnt sich, wenn du konkret weißt, welches große Modell du betreiben willst und warum. Als Vorratskauf ist sie teuer.

Reicht mein vorhandener PC für lokale KI?

Wahrscheinlich für den Anfang schon. Wenn dein Rechner 16 Gigabyte Arbeitsspeicher hat, kannst du die kleine Modellklasse heute noch ausprobieren, ohne irgendetwas zu kaufen. Das ist der beste erste Schritt überhaupt – danach weißt du aus eigener Erfahrung, ob dir die Qualität reicht oder ob es mehr sein muss.

Hat der Rechner zusätzlich eine Grafikkarte mit eigenem Speicher, läuft es deutlich flotter. Ohne läuft es trotzdem, nur gemächlicher. Beides ist zum Testen völlig ausreichend, und beides beantwortet die Kauffrage besser als jede Empfehlung von außen.

Brauche ich eine Grafikkarte?

Zwingend nicht. Kleine Modelle laufen auch auf dem Prozessor allein. Für flüssiges Arbeiten übernimmt aber üblicherweise eine Grafikeinheit den Hauptteil der Arbeit.

Bei den kompakten Geräten, die für lokale KI gebaut werden, steckt diese Grafikeinheit im Prozessor und greift auf den gemeinsamen Speicher zu. Das ist ihr eigentlicher Vorteil gegenüber einer klassischen Grafikkarte: Die hat mehr Rechenkraft, aber deutlich weniger eigenen Speicher – und ein großes Modell braucht vor allem Platz. Deshalb schlägt in dieser Disziplin oft das kompakte Gerät die teure Karte.

Warum ist meine lokale KI so langsam?

In den allermeisten Fällen liegt es am Speicher. Passt das Modell nicht vollständig hinein, lagert das System Teile auf die Festplatte aus und lädt sie ständig nach. Dann wird jede Antwort zäh, obwohl das Modell technisch läuft. Ein Modell eine Nummer kleiner ist dann die schnellste Abhilfe.

Der zweite häufige Grund sind sehr lange Unterhaltungen oder große Dokumente im Verlauf. Beides belegt zusätzlich Speicher, und zwar wachsend. Ein neuer Chat statt eines endlos langen bringt oft mehr als jede Einstellung.

Der dritte Grund ist die Software: Nicht jedes Programm nutzt die Grafikeinheit deines Geräts automatisch. Ein Blick in die Einstellungen lohnt sich, bevor du an der Hardware zweifelst.

Was bedeutet Quantisierung – und welche Fassung nehme ich?

Modelle werden für den Hausgebrauch komprimiert, damit sie weniger Speicher belegen. Diese Komprimierung heißt Quantisierung. Sie ist der Grund, warum große Modelle überhaupt auf normaler Hardware laufen.

Praktisch findest du zu fast jedem Modell mehrere Fassungen zum Herunterladen, erkennbar an Kürzeln im Dateinamen. Die gängigen Vier-Bit-Fassungen sind der übliche Kompromiss und für Alltagsaufgaben gut brauchbar. Sehr stark komprimierte Fassungen sparen weiter Platz, können aber sichtbar an Qualität verlieren – wie stark, hängt vom Modell und von deiner Aufgabe ab. Im Zweifel lädst du zwei Fassungen herunter und vergleichst sie an deinen eigenen typischen Aufgaben.

Wie viel Platz brauchen die Modelle auf der Festplatte?

Mehr, als die meisten einplanen. Ein einzelnes mittelgroßes Modell belegt zehn bis zwanzig Gigabyte, und man lädt selten nur eines herunter: verschiedene Größen, verschiedene Fassungen, ältere Versionen zum Vergleich. Ein Terabyte ist schneller voll, als es klingt.

Die Geschwindigkeit der SSD spielt dabei eine kleinere Rolle als der Platz – solange das Modell vollständig im Arbeitsspeicher liegt, wirkt sie sich vor allem auf die Ladezeit beim Wechsel aus. Wichtig ist ein zweiter Steckplatz zum Nachrüsten. Beim Massenspeicher geht das später problemlos, beim Arbeitsspeicher fast nie.

Lokal oder Cloud – was ist sinnvoller?

Cloud-Dienste geben dir sofort Zugriff auf sehr große Modelle, ohne Einrichtung und ohne Anschaffung, und kosten dafür monatlich. Ein eigenes Gerät kostet einmal, dazu Strom, Einrichtung und Pflege, und behält die Verarbeitung im Haus.

Welche Seite gewinnt, hängt an zwei Fragen: wie oft du die KI nutzt und mit welchen Inhalten. Wer täglich mit Verträgen, Kundendaten oder Personalunterlagen arbeitet, hat oft gute Gründe für den lokalen Weg. Wer gelegentlich einen Text entwerfen lässt, fährt mit einem Abo einfacher. Für viele ist die Mischung richtig: das eigene Gerät für den Alltag und für alles Vertrauliche, der Cloud-Dienst für die gelegentliche schwere Aufgabe.

Wie laut wird so ein Gerät, und was kostet der Strom?

Die sparsamen Geräte bleiben im Alltag praktisch lautlos und liegen im Betrieb im Bereich weniger Dutzend Watt. Die starken Maschinen drehen bei längeren Rechenläufen hörbar auf – das ist Physik, kein Baumangel. Wer lange Läufe fährt, stellt das Gerät besser nicht direkt neben den Kopf.

Beim Strom lohnt die Überlegung, ob die Maschine durchlaufen soll, damit die KI jederzeit erreichbar ist. Über das Jahr macht der Unterschied zwischen einem sparsamen und einem starken Gerät im Dauerbetrieb spürbar etwas aus.

Die vier häufigsten Fehler beim Kauf

1. Nach der KI-Leistung gekauft statt nach dem Speicher. Die groß beworbenen TOPS-Zahlen sagen wenig darüber aus, welches Modell auf dem Gerät läuft.
2. Zu knapp kalkuliert. Windows und die Grafikeinheit brauchen ihren Teil, lange Unterhaltungen ebenfalls. Wer auf Kante kauft, sitzt schnell am Limit.
3. Auf spätere Aufrüstung gehofft. Bei kompakten Geräten ist der Arbeitsspeicher fast immer fest verbaut. Diese Entscheidung fällt einmal.
4. Gekauft, ohne vorher zu testen. Die kleine Modellklasse läuft auf fast jedem aktuellen Rechner. Wer sie erst ausprobiert, weiß hinterher genau, was er braucht.

Festplatte sichern und ein System-Image erstellen – auf einem Rechner, der später Modelle und Projektdaten trägt, ist ein sauberer Ausgangsstand viel wert. Die Anleitung zeigt, woran Sicherungen typischerweise scheitern: Sie sind zu alt, sie enthalten nicht die Systempartition, oder sie liegen auf derselben Maschine, die ausgefallen ist.

Häufige Fragen

Wie viel RAM brauche ich für lokale KI?

Für den Einstieg reichen 16 Gigabyte. Damit laufen die kleinen Modelle, die für Zusammenfassungen, kurze Entwürfe und einfache Fragen gedacht sind. 32 Gigabyte sind der Punkt, ab dem es sich nach ernsthaftem Arbeiten anfühlt. 64 Gigabyte decken fast alles ab, was ein Selbstständiger oder ein kleiner Betrieb braucht.

128 Gigabyte sind die Oberklasse und nur dann nötig, wenn du gezielt die größten Modelle betreiben willst. Wichtig bei kompakten Geräten: Der Speicher ist fast immer fest verbaut. Was du beim Kauf wählst, bleibt.

Welches Modell läuft auf 16 GB?

Die kleine Klasse, also Modelle im Bereich um sieben bis acht Milliarden Parameter in der üblichen komprimierten Fassung. Die sind erstaunlich brauchbar für Zusammenfassungen, Übersetzungen, Textentwürfe und einfache Fragen.

Was du damit nicht bekommst: lange Dokumente am Stück, anspruchsvolle Programmierhilfe und die Qualität, die man aus den bekannten Cloud-Diensten kennt. Ein Teil des Speichers geht außerdem an Windows und die Grafik, es steht also nie alles zur Verfügung.

Reicht mein vorhandener PC für lokale KI?

Wenn er 16 Gigabyte Arbeitsspeicher hat, kannst du sofort loslegen und die kleine Modellklasse ausprobieren – ganz ohne neue Hardware. Das ist der beste erste Schritt, weil du danach genau weißt, ob dir die Qualität reicht.

Hat der Rechner eine Grafikkarte mit eigenem Speicher, wird es deutlich flotter. Ohne Grafikkarte läuft es trotzdem, nur langsamer. Erst wenn dir die kleine Klasse zu schwach ist, lohnt der Gedanke an ein eigenes Gerät.

Brauche ich eine Grafikkarte?

Zwingend nicht. Kleine Modelle laufen auch auf dem Prozessor allein, das ist nur langsamer. Für flüssiges Arbeiten übernimmt üblicherweise eine Grafikeinheit die Hauptarbeit.

Bei den kompakten Geräten für lokale KI steckt diese Grafikeinheit im Prozessor und greift auf den gemeinsamen Speicher zu. Genau das ist ihr Vorteil gegenüber einer klassischen Grafikkarte: Die hat zwar mehr Rechenkraft, aber deutlich weniger eigenen Speicher – und ein großes Modell braucht vor allem Platz.

Warum antwortet mein Modell so langsam?

Der häufigste Grund ist zu wenig Speicher. Passt das Modell nicht vollständig hinein, lagert das System Teile auf die Festplatte aus und muss sie ständig nachladen. Dann bricht die Geschwindigkeit ein, obwohl das Modell technisch läuft.

Zweiter häufiger Grund: eine sehr lange Unterhaltung oder ein großes Dokument im Verlauf. Beides belegt zusätzlich Speicher. Hilft beides nicht, ist meist eine Nummer kleiner beim Modell die schnellste Lösung.

Was bedeutet Quantisierung?

Modelle werden für den Hausgebrauch komprimiert, damit sie weniger Speicher brauchen. Diese Komprimierung heißt Quantisierung, und sie ist der Grund, warum große Modelle überhaupt auf normaler Hardware laufen.

Praktisch findest du zu fast jedem Modell mehrere Fassungen zum Herunterladen. Die gängigen Vier-Bit-Fassungen sind der übliche Kompromiss und für Alltagsaufgaben in der Regel gut brauchbar. Sehr stark komprimierte Fassungen sparen weiter Platz, können aber sichtbar an Qualität verlieren – wie stark, hängt vom Modell und von der Aufgabe ab.

Wie viel Platz brauche ich auf der Festplatte?

Mehr als die meisten einplanen. Ein einzelnes mittelgroßes Modell belegt schnell zehn bis zwanzig Gigabyte, und man lädt selten nur eines herunter – verschiedene Größen, verschiedene Fassungen, dazu ältere Versionen zum Vergleich.

Ein Terabyte ist deshalb schneller voll, als es klingt. Wichtiger als das schnellste Laufwerk ist genug Platz und ein zweiter Steckplatz zum Nachrüsten. Beim Massenspeicher lässt sich später problemlos aufstocken, beim Arbeitsspeicher meistens nicht.

Lohnt sich lokale KI gegenüber einem Cloud-Dienst?

Das hängt an zwei Fragen: wie oft du sie nutzt und mit welchen Inhalten. Cloud-Dienste bieten sofort Zugriff auf sehr große Modelle und verursachen dafür laufende Kosten. Ein eigenes Gerät kostet einmal, dazu kommen Strom, Einrichtung und Pflege.

Pauschal lässt sich das nicht ausrechnen. Wer täglich mit vertraulichen Unterlagen arbeitet, hat oft gute Gründe für den lokalen Weg. Wer gelegentlich einen Text entwerfen lässt, meist nicht.

Passende Geräte zu den Speicherstufen

Wenn du deine Zielstufe kennst, helfen diese Einordnungen beim nächsten Schritt. Jede Seite geht auf die Frage ein, die bei genau diesem Gerät über den Kauf entscheidet.

GMKtec NucBox K17 – steht für die unterste Stufe mit 16 Gigabyte. Die Seite zeigt, was damit im Alltag läuft und wo die Grenze verläuft, und sie stützt sich auf unabhängige Tests, die den besonders leisen Betrieb bestätigen. Für alle, denen die kleine Modellklasse genügt.

GMKtec EVO-X2 – erreicht als eines der wenigen kompakten Geräte die oberste Stufe mit 128 Gigabyte. Die Seite erklärt, warum ein großer gemeinsamer Speicher für Sprachmodelle mehr bringt als eine Grafikkarte mit eigenem Speicher, und nennt einen Kaufhinweis zur kleineren Ausführung, den man leicht übersieht.

GMKtec EVO-X3 – bietet dieselbe Speicherstufe, aber mit einem Anschluss für eine externe Grafikkarte und einem neu konstruierten Gehäuse. Die Seite arbeitet heraus, wann dieser Unterschied den Aufpreis wert ist und wann der Vorgänger die vernünftigere Wahl bleibt.

KI-Mini-PC kaufen – fasst alle Modelle mit Speicherausstattung, KI-Leistung und Aufrüstbarkeit in einer Tabelle zusammen. Der Blick dorthin lohnt vor allem wegen der Spalte, die zeigt, welcher Speicher fest verbaut ist und welcher steckbar.

Weiterlesen

KI sicher nutzen als Selbstständiger – bevor die Hardwarefrage kommt, lohnt die Nutzungsfrage. Der Beitrag geht durch, welche Aufgaben sich sinnvoll abgeben lassen, welche Daten dabei zwangsläufig durchlaufen und wie man im Betrieb einen freigegebenen Weg schafft, den die Leute auch benutzen.

EU AI Act, NIS2 und DORA – wer KI im Betrieb einsetzt, sollte den Rahmen kennen. Der Beitrag trennt die Anforderungen an große Anbieter von dem, was für einen kleinen Betrieb tatsächlich übrig bleibt, und erspart die verbreitete Panik ebenso wie das ebenso verbreitete Übersehen.

Windows-Telemetrie abschalten – ein Rechner, der vertrauliche Unterlagen verarbeiten soll, sollte nicht nebenbei Nutzungsdaten melden. Der Beitrag erklärt, welche Einstellungen wirklich etwas bewirken und warum sie nach größeren Systemaktualisierungen regelmäßig wieder auf den Ausgangswert springen.