KI lokal betreiben: Welche Hardware ein Mini-PC für lokale LLM-Modelle wirklich braucht

Jede Frage, die du in ein Cloud-Modell tippst, verlässt dein Haus. Jeder Vertrag, den du zusammenfassen lässt, jede Patientenakte, jede Kalkulation, jeder Zeile Quelltext. Bei einer Rezeptidee ist das gleichgültig. Bei allem anderen nicht – und genau deshalb wollen immer mehr Nutzer ihre KI lokal betreiben, auf eigener Hardware, ohne Internetverbindung, ohne Anbieter dazwischen.

Dieser Ratgeber zeigt dir Schritt für Schritt, welche Hardware ein LLM lokal wirklich verlangt, welche Modellgrößen auf welcher Ausstattung laufen und wann ein kompakter Mini-PC für KI die bessere Wahl ist als eine teure Grafikkarte. Als konkretes Beispiel dient die neue Mini-PC-Linie von GPD, weil sie einen Anschluss mitbringt, den es in dieser Geräteklasse bisher nicht gab. Es geht dabei ausdrücklich nicht um Gaming, sondern um lokale KI, Datenschutz und den eigenen KI-Server im Heimnetz.

Warum KI lokal betreiben statt in der Cloud?

Ein Cloud-Dienst ist bequem: Abo zahlen, Frage eintippen, Antwort bekommen. Der Preis dafür ist nicht nur das Abo, sondern die Verarbeitung auf fremden Servern, oft außerhalb der EU. Eine lokale KI kehrt das Verhältnis um. Das Sprachmodell liegt als Datei auf deiner Festplatte, die Berechnung passiert in deinem Gerät, und es geht kein Byte nach draußen. Das hat vier praktische Folgen:

• Datenhoheit: Vertrauliche Inhalte verlassen deinen Rechner nicht. Kein Anbieter liest mit, keine Trainingsdaten-Frage, kein Restrisiko durch einen Dienstleister.
• Keine laufenden Kosten: Nach dem Hardwarekauf fallen keine Token-Gebühren an. Wer viel verarbeitet, rechnet das schneller herein, als es zunächst wirkt.
• Unabhängigkeit: Niemand kann dir den Zugang sperren, Preise erhöhen oder ein Modell abkündigen. Dein lokales Modell läuft auch in fünf Jahren noch.
• Offline-Fähigkeit: Die KI arbeitet ohne Internet – im Zug, in der Werkstatt, im abgeschotteten Firmennetz.

Der ehrliche Gegenpunkt: Die größten Cloud-Modelle sind weiterhin stärker als das, was auf einem Schreibtischgerät läuft. Wer die absolut beste Antwortqualität braucht und keine sensiblen Daten verarbeitet, fährt mit der Cloud besser. Lokale KI lohnt sich dort, wo Vertraulichkeit, Dauerbetrieb oder Unabhängigkeit den Ausschlag geben.

Was ein lokales Sprachmodell wirklich verlangt: drei Größen

1. Speichermenge – entscheidet, OB das Modell läuft

Ein Sprachmodell muss vollständig in den Speicher passen, mit dem gerechnet wird. Passt es nicht hinein, startet es entweder gar nicht oder wird auf die Festplatte ausgelagert – dann sinkt das Tempo auf ein Niveau, mit dem niemand arbeiten möchte. Die Speichermenge ist die harte Grenze: Sie entscheidet, welche Modellklasse überhaupt in Frage kommt.

2. Speicherbandbreite – entscheidet, WIE SCHNELL es antwortet

Für jedes einzelne Wort muss ein Sprachmodell rechnerisch einmal komplett durch den Speicher geschickt werden. Deshalb hängt die Ausgabegeschwindigkeit – gemessen in Token pro Sekunde – fast linear an der Speicherbandbreite. Das ist der Punkt, den Datenblätter am liebsten verschweigen, und der über „angenehm nutzbar“ und „Wort für Wort zusehen“ entscheidet.

3. Rechenleistung – entscheidet über lange Eingaben

Reine Rechenleistung wirkt vor allem beim Prompt Processing: Wenn du ein 40-seitiges PDF einwirfst, muss die Eingabe erst verarbeitet werden, bevor das erste Wort der Antwort erscheint. Hier zählen TOPS und Recheneinheiten tatsächlich. Für die laufende Antwortgeschwindigkeit sind sie zweitrangig.

Welches Modell braucht wie viel Speicher?

Sprachmodelle werden für den lokalen Betrieb quantisiert: Die Gewichte werden von hoher auf niedrigere Genauigkeit heruntergerechnet, meist auf vier Bit. Das schrumpft den Speicherbedarf drastisch, bei erstaunlich geringem Qualitätsverlust. Die folgenden Richtwerte gelten für gängige 4-Bit-Quantisierungen, noch ohne Puffer für lange Eingaben.

An dieser Tabelle wird der eigentliche Konflikt sichtbar. Eine dedizierte Grafikkarte bringt in der Consumer-Klasse üblicherweise 8, 12, 16 oder 24 GB eigenen Videospeicher mit. Damit sind Modelle bis rund 30B abgedeckt – darüber endet die Reise, egal wie schnell die Karte rechnet. Ein Mini-PC mit 64 GB geteiltem Arbeitsspeicher kommt umgekehrt an Modelle heran, die auf keiner bezahlbaren Grafikkarte laufen. Dafür langsamer.

Der Denkfehler mit den TOPS

Nahezu jeder aktuelle Prozessor wird mit einer TOPS-Angabe beworben, also mit Billionen Rechenoperationen pro Sekunde. Bei den neuen Mini-PCs stehen dort dreistellige Werte. Diese Zahl ist die Summe aus Prozessor, integrierter Grafik und NPU.

Die NPU spielt ihre Stärke woanders aus: bei Bildanalyse, Rauschunterdrückung in Videokonferenzen, Spracherkennung und ähnlichen Daueraufgaben, die sie sehr stromsparend erledigt. Ein echter Vorteil für einen Rechner im Dauerbetrieb – nur eben kein Versprechen für schnelle Chat-Antworten.

Zwei Wege zur lokalen KI: geteilter Speicher oder Grafikkarte

Daraus folgt eine einfache Faustregel: Wer viele kleine bis mittlere Modelle schnell braucht, nimmt die Grafikkarte. Wer ein möglichst großes Modell überhaupt zum Laufen bringen will, nimmt den geteilten Speicher. Und wer beides will, braucht ein Gerät, das sich um eine externe Grafikkarte erweitern lässt.

Wie dein eigener KI-Server im Alltag aussieht

Stell dir vor, auf deinem Schreibtisch steht ein Gerät von der Größe eines Buches. Es ist leise, es zieht wenig Strom, und es läuft durch. Darauf liegt ein Sprachmodell, das du über den Browser ansprichst – vom Notebook aus, vom Tablet, vom Telefon, alles über dein eigenes Netz. Du wirfst einen Mandantenschriftsatz hinein und bekommst eine Zusammenfassung. Du lässt dir eine Angebotsvorlage umschreiben. Du fragst deine eigenen Unterlagen ab.

Und nichts davon verlässt deine vier Wände. Keine Abrechnung nach Token, kein Anbieterwechsel, keine Frage, in welchem Rechtsraum die Verarbeitung stattfindet. Genau dieses Szenario ist heute mit Hardware möglich, die unter einem Kilogramm wiegt – und die neue Mini-PC-Generation ist der Grund dafür.

GPD BOX: Was die Mini-PC-Linie für lokale KI mitbringt

GPD ist vielen als Hersteller von Handheld-Geräten bekannt. Die BOX ist etwas anderes: ein stationärer Mini-PC im Aluminium-Magnesium-Gehäuse, laut Hersteller 175 × 134 × 39,5 mm groß, 940 g schwer, 0,926 Liter Volumen. Für lokale KI zählen diese Punkte:

Zwei Details verdienen einen zweiten Blick. Erstens die 64-GB-Ausbaustufe: Weil Prozessor und Grafikeinheit sich denselben Speicher teilen, steht dieser Speicher grundsätzlich auch für Modellgewichte zur Verfügung. Damit rückt die 70B-Klasse in Reichweite. Zweitens die zwei Netzwerkanschlüsse: Sie machen aus dem Mini-PC den kleinen Heimserver aus dem Abschnitt oben.

Die MCIO-Falle: Der wichtige Anschluss sitzt auf der kleineren CPU

Das ist keine Kleinigkeit, sondern die zentrale Weichenstellung. Wer die stärkere CPU nimmt, hat ein in sich geschlossenes Gerät: schnell, sparsam, kompakt – aber ohne Ausbaupfad in Richtung Grafikkarte. Der Anschluss lässt sich nicht nachrüsten. Wer die kleinere CPU nimmt, verzichtet auf etwas Prozessorleistung und behält dafür die Tür offen. Für lokale KI ist die zweite Variante in aller Regel die klügere, weil die verlorene CPU-Leistung bei Sprachmodellen kaum ins Gewicht fällt, die Ausbaufähigkeit aber alles verändert.

GPD G2: Wann eine externe Grafikkarte für KI wirklich etwas bringt

Das G2 ist ein externes Grafikkarten-Gehäuse, oft eGPU oder Grafikdock genannt. Laut Hersteller nimmt es eine Karte über einen PCIe-Gen-5-×16-Steckplatz auf, bringt ein eingebautes 800-W-Netzteil nach ATX-3.1-Standard mit Gold-Zertifizierung und einen 12V-2x6-Stromanschluss mit. Angebunden wird es über MCIO 8i oder über USB4 v2.0 – letzteres funktioniert damit auch an Notebooks mit Thunderbolt. Als kompatibel nennt der Hersteller Karten von NVIDIA, AMD und Intel; als Betriebssysteme Windows 11 und Linux ab Kernel 6.17.

Jetzt die ehrliche Einordnung, die auf keiner Herstellerseite steht: Für das reine Ausführen eines Sprachmodells ist die Anbindungsart weniger wichtig, als die Werbung nahelegt. Liegt das Modell erst im Speicher der Grafikkarte, läuft die Rechenarbeit dort ab, und über die Verbindung fließt wenig hin und her. Ein Grafikdock über Thunderbolt kommt in diesem Betriebsfall einer intern verbauten Karte sehr nahe.

Richtig wichtig wird die schnelle Anbindung in drei Fällen:

• Beim Laden großer Modelle: Eine 40-GB-Datei muss bei jedem Start über die Verbindung. Der Unterschied zwischen Sekunden und Minuten liegt genau hier.
• Beim Layer-Offloading: Passt ein Modell nur teilweise in den Videospeicher, wandern die restlichen Schichten in den Systemspeicher – und werden bei jedem einzelnen Token über die Verbindung geschoben.
• Beim Feintuning und LoRA-Training: Hier fließen ständig große Datenmengen zwischen Hauptsystem und Karte. Für eigenes Training ist Bandbreite der entscheidende Faktor.

Die Software: Womit du lokale Sprachmodelle startest

Die gute Nachricht: Der Einstieg ist erheblich einfacher geworden. Du brauchst weder Programmierkenntnisse noch eine Kommandozeile, wenn du nicht möchtest.

Für den bequemen Einstieg

LM Studio ist eine Anwendung mit Oberfläche, die Modelle auf Knopfdruck herunterlädt, verwaltet und startet. Du wählst ein Modell aus einer Liste, das Programm prüft, ob es auf deine Hardware passt, und danach kannst du sofort chatten.

Für den Dauerbetrieb

Ollama läuft als Dienst im Hintergrund und stellt Modelle im Netzwerk bereit. Zusammen mit einer Weboberfläche wie Open WebUI entsteht daraus eine Chat-Umgebung, die sich anfühlt wie ein bekannter Cloud-Dienst – nur dass alles im eigenen Netz bleibt.

Für maximale Kontrolle

llama.cpp ist der Unterbau, auf dem viele dieser Werkzeuge aufsetzen. Wer selbst an Quantisierung, Kontextlänge und Speicherverteilung schrauben will, arbeitet direkt damit. Auf Intel-Grafik läuft die Berechnung üblicherweise über Vulkan oder SYCL.

Datenschutz und DSGVO: der eigentliche Grund für lokale KI

Für Selbstständige, Kanzleien, Praxen, Steuerberatungen und kleine Unternehmen ist lokale KI keine Spielerei, sondern oft die einzige saubere Lösung. Sobald personenbezogene Daten in ein KI-System fließen, greift die Datenschutz-Grundverordnung – mit allen Folgen: Auftragsverarbeitungsvertrag, Prüfung des Drittlandtransfers, Eintrag ins Verarbeitungsverzeichnis, Informationspflichten gegenüber Betroffenen.

Dazu kommt die Berufsverschwiegenheit. Wer als Anwalt, Arzt oder Steuerberater arbeitet, unterliegt Pflichten, die über die DSGVO hinausgehen. Ein Sprachmodell, das Mandantenschriftsätze auf dem eigenen Rechner zusammenfasst, ist etwas fundamental anderes als eines, das dieselben Schriftsätze an einen Server in einem anderen Rechtsraum schickt.

In vier Schritten zur eigenen lokalen KI

1. Schutzbedarf klären. Verarbeitest du vertrauliche Daten? Wenn nein, reicht oft ein Anbieter mit europäischer Verarbeitung. Wenn ja, geh weiter zu Schritt zwei.
2. Modellgröße festlegen. Schau in die Speichertabelle oben und bestimme, welche Modellklasse deine Aufgaben abdeckt. Daraus ergibt sich die nötige Speichermenge – nicht umgekehrt.
3. Ausbauweg entscheiden. Reicht dir die integrierte Grafik, oder willst du später eine externe Karte anbinden? Diese Entscheidung fällt beim Kauf und legt die Prozessorvariante fest.
4. Software aufsetzen. Mit LM Studio in einer Stunde zum ersten Ergebnis, danach bei Bedarf auf Ollama plus Open WebUI umsteigen und das Modell im Heimnetz freigeben.

Welche Konfiguration passt zu welchem Vorhaben?

Ehrliche Grenzen: Was du vor der Bestellung wissen solltest

Diese Seite soll dir eine Entscheidung ermöglichen, keine Kaufeuphorie erzeugen. Deshalb die Punkte, die gegen einen schnellen Zugriff sprechen:

• Vorverkaufsphase. Beide Geräte werden als Vorbestellung angeboten. Der Hersteller nennt Ende August als geschätzten Liefertermin und weist ausdrücklich darauf hin, dass es später werden kann. Vorbestellungen lassen sich laut Anbieter bis zum Versand stornieren.
• Netzstecker. Der Hersteller liefert standardmäßig mit US-Stecker aus. Wer in Deutschland bestellt, sollte den benötigten Steckertyp bei der Bestellung ausdrücklich angeben oder einen Adapter einplanen.
• Speicher nicht erweiterbar. Der Arbeitsspeicher moderner Kompaktsysteme ist verlötet. Die Entscheidung zwischen 32 und 64 GB fällt einmalig und lässt sich später nicht korrigieren.
• Der Anschluss lässt sich nicht nachrüsten. MCIO gibt es nur auf einer der beiden Prozessorvarianten.
• Garantie und Rückabwicklung. Bei einem Direktkauf beim Hersteller können Abwicklung, Rücksendung und Gewährleistung aufwendiger sein als beim Händler vor Ort. Prüfe die Bedingungen vor der Bestellung.
• Erwartungsmanagement. Ein lokal betriebenes Modell ersetzt kein aktuelles Spitzenmodell aus der Cloud. Es ersetzt die Notwendigkeit, vertrauliche Daten dorthin zu schicken.

Häufige Fragen zu lokaler KI und Mini-PC-Hardware

Kann ich ein LLM lokal auf einem normalen Notebook betreiben?

Kleine Modelle bis etwa 8 Milliarden Parameter laufen auf vielen aktuellen Notebooks mit 16 GB Arbeitsspeicher brauchbar. Ab der Mittelklasse wird der Speicher zum Engpass, und im Akkubetrieb drosseln die meisten Geräte deutlich. Für gelegentliches Ausprobieren reicht ein Notebook, für regelmäßige Arbeit ist ein stationäres Gerät die stabilere Grundlage.

Wie viel Arbeitsspeicher brauche ich für lokale KI wirklich?

32 GB decken den Alltag mit Modellen bis etwa 14 Milliarden Parametern ab. 64 GB öffnen die Tür zu Modellen bis rund 70 Milliarden Parametern und lassen zusätzlich Luft für lange Eingaben und parallel laufende Programme. Da verlöteter Speicher nicht nachrüstbar ist, gilt im Zweifel die größere Variante.

Ist eine NPU für Sprachmodelle wichtig?

Weniger, als die Werbung suggeriert. Die gängigen Werkzeuge für lokale Sprachmodelle nutzen überwiegend Grafikeinheit oder Prozessor. Ihre Stärke spielt die NPU bei Bild-, Audio- und Videoaufgaben aus sowie überall dort, wo Effizienz im Dauerbetrieb zählt.

Was bringt eine externe Grafikkarte für lokale KI?

Sehr viel Tempo, solange das Modell in den Videospeicher der Karte passt. Für reines Ausführen genügt oft schon eine Anbindung über Thunderbolt oder USB4. Erst beim Feintuning, beim Aufteilen sehr großer Modelle und beim häufigen Modellwechsel zahlt sich eine besonders schnelle Anbindung wie MCIO messbar aus.

Warum hat nur eine der beiden Prozessorvarianten den MCIO-Anschluss?

Der Hersteller nennt dafür keinen Grund, gibt die Einschränkung aber selbst an: Der MCIO-8i-Anschluss ist dem Modell mit dem Core Ultra 7 356H vorbehalten. Wer den Ausbau mit externer Grafikkarte plant, muss deshalb bewusst die kleinere Prozessorvariante wählen.

Läuft lokale KI auch unter Linux?

Ja, und für viele ist Linux sogar der bessere Weg, weil Treiber und Werkzeuge dort schnell aktuell sind. Für das Grafikdock nennt der Hersteller allerdings Kernel 6.17 als Mindestanforderung, was ältere Distributionen mit langem Unterstützungszeitraum vorerst ausschließt.

Ist lokale KI automatisch DSGVO-konform?

Nicht automatisch, aber der Weg wird deutlich kürzer. Findet die Verarbeitung ausschließlich auf eigener Hardware statt, entfallen Auftragsverarbeitung und Drittlandübermittlung. Deine übrigen Pflichten – Verarbeitungsverzeichnis, Rechtsgrundlage, technische und organisatorische Maßnahmen – bleiben bestehen.

Lohnt sich der Aufwand gegenüber einem Cloud-Abo?

Das hängt vom Schutzbedarf ab, nicht vom Rechenexempel. Wer unkritische Texte verarbeitet, fährt mit einem Abo einfacher und in der Antwortqualität meist besser. Wer vertrauliche Daten verarbeitet, dauerhaft unabhängig bleiben will oder sehr große Textmengen durchlaufen lässt, findet in lokaler Hardware die tragfähigere Lösung.

Weiterlesen

Datenhoheit statt Daten-Abgabe – Hardware ist nur die halbe Antwort. Bevor du dich für ein Gerät entscheidest, lohnt die Frage, welche Stufe der Datenhoheit dein Anwendungsfall überhaupt verlangt. Nicht jede Aufgabe braucht ein lokales Modell; für viele reicht ein Anbieter mit europäischer Verarbeitung und klaren Zusagen. Dieser Beitrag ordnet die drei Stufen von bewussten Regeln über die DSGVO-konforme Cloud bis zur vollständig lokalen KI ein und hilft dir, deinen tatsächlichen Schutzbedarf zu bestimmen, bevor du Geld in Hardware steckst.

KI sicher nutzen als Selbstständiger – Große Unternehmen betreiben KI längst mit klaren Regeln, dokumentierten Zuständigkeiten und abgesicherten Zugängen, während Einzelunternehmer Werkzeuge oft ungeprüft einsetzen. Wer ein lokales Sprachmodell aufsetzt, hat den technischen Teil erledigt, aber noch keine Nutzungsregeln. Dieser Beitrag zeigt, welche organisatorischen Punkte du auch mit kleinem Betrieb abdecken solltest, damit aus einem Datenschutzvorteil kein Datenschutzproblem an anderer Stelle wird.

EU AI Act, NIS2 und DORA – Wer KI beruflich einsetzt, bewegt sich inzwischen in einem dichteren Regelwerk als noch vor zwei Jahren. Der lokale Betrieb löst dabei einige Fragen, andere ausdrücklich nicht: Transparenzpflichten, Kennzeichnung KI-erzeugter Inhalte und Risikoeinstufung gelten unabhängig davon, wo das Modell rechnet. Dieser Überblick sortiert, welche der neuen Vorschriften dich als kleines Unternehmen tatsächlich betreffen und welche nicht.

Windows-Telemetrie abschalten – Es wäre widersprüchlich, ein Sprachmodell lokal zu betreiben und gleichzeitig dem Betriebssystem freie Hand bei der Datenübermittlung zu lassen. Genau das passiert häufiger, als vielen bewusst ist, weil einmal gesetzte Datenschutzeinstellungen nach großen Systemaktualisierungen wieder zurückspringen. Dieser Beitrag erklärt, welche Einstellungen betroffen sind und wie du sie so absicherst, dass sie dauerhaft halten.

Ein Systemabbild erstellen – Eine lokal aufgesetzte KI-Umgebung besteht aus vielen Einzelteilen: Treiber, Laufzeitumgebungen, heruntergeladene Modelldateien und mühsam abgestimmte Einstellungen. Geht das Systemlaufwerk verloren, ist all das weg, und der Wiederaufbau kostet einen kompletten Arbeitstag. Dieser Beitrag zeigt, wie ein Abbild aussieht, das im Ernstfall wirklich zurückspielbar ist, und welche verbreiteten Fehler genau das verhindern.

Lokale KI in Überwachungskameras – Dasselbe Prinzip wie bei Sprachmodellen findet sich auch bei Kameras: Die Analyse geschieht entweder im Gerät oder beim Hersteller, und diese Entscheidung bestimmt Datenschutz und Folgekosten gleichermaßen. Wer den Unterschied bei Kameras einmal verstanden hat, erkennt ihn bei jedem anderen KI-Produkt sofort wieder. Der Beitrag zeigt zusätzlich, wie Abo-Modelle die vermeintlich günstige Cloud-Variante über Jahre teurer machen.