Lokale KI-Modelle statt Cloud: Datenschutz, Kosten und Kontrolle mit Ollama, LM Studio & Co.

Wie Sie Sprachmodelle auf dem eigenen Rechner oder Server betreiben, welche Hardware dafür reicht und wann sich der Aufwand für Unternehmen lohnt

11.11.2025

KI lokal betreiben: offene Modelle und Werkzeuge, nötige Hardware, Folgen für Datenschutz und Kosten sowie der Weg vom Test zum Teamserver im Unternehmen.

KI lokal betreiben: Wann Sie die Cloud nicht brauchen, was auf dem eigenen Rechner heute möglich ist und wo die Grenzen liegen

Ein kleiner Versuch macht den Unterschied anschaulich: Starten Sie auf einem aktuellen Laptop ein lokal installiertes Sprachmodell, stellen Sie eine Frage, und schalten Sie dann das WLAN ab. Das Modell antwortet weiter. Keine Verbindung zu einem Rechenzentrum, kein Konto, keine Abrechnung pro Anfrage – die gesamte Rechenarbeit erledigt der eigene Computer.

Für viele ist das überraschend, weil sich die Vorstellung festgesetzt hat, künstliche Intelligenz finde grundsätzlich auf Servern von OpenAI, Google, Microsoft oder Anthropic statt. Für die leistungsstärksten Modelle stimmt das auch. Daneben ist aber eine zweite Welt entstanden: offene Modelle, die jeder herunterladen und auf eigener Hardware betreiben kann, und Werkzeuge, die das so einfach machen wie die Installation eines Textprogramms. Für Unternehmen mit sensiblen Daten ist das mehr als eine Spielerei.

Warum Unternehmen KI lokal betreiben wollen

Cloud-Dienste wie ChatGPT sind bequem, leistungsstark und immer verfügbar. Für einen lokalen Betrieb sprechen trotzdem mehrere Gründe:

  • Datenschutz: Patientenakten, Mandantenunterlagen, Personaldaten oder Konstruktionszeichnungen lassen sich nicht ohne Weiteres an Cloud-Anbieter in den USA schicken. Lokale Modelle entschärfen dieses Problem erheblich: Die Daten verlassen Ihren Rechner oder Ihr Rechenzentrum nicht, eine Übermittlung an Cloud-Anbieter entfällt. Die übrigen Pflichten der Datenschutz-Grundverordnung gelten weiterhin.
  • Kosten: Cloud-KI wird je Nutzer oder nach verarbeiteten Tokens abgerechnet, also nach Textbausteinen von etwa einer Silbe bis zu einem Wort. Bei intensiver, automatisierter Nutzung summiert sich das. Ein lokales Modell kostet nach der Hardware-Anschaffung nur noch Strom und Betreuung.
  • Verfügbarkeit: Störungen beim Anbieter, Ratenlimits oder ein Ausfall der Internetleitung spielen keine Rolle.
  • Kontrolle: Sie bestimmen, welches Modell in welcher Version läuft. Ein Anbieter kann das Verhalten nicht über Nacht ändern oder ein Modell abschalten, auf das Ihre Abläufe angewiesen sind.
  • Digitale Souveränität: Wer zentrale Werkzeuge selbst betreibt, ist weniger abhängig von Preisentscheidungen, Nutzungsbedingungen und der Politik einzelner Länder.

Wichtig für die Erwartungen: Lokal heißt nicht automatisch besser. Die stärksten Cloud-Modelle sind den offenen Modellen, die auf üblicher Hardware laufen, bei komplexen Aufgaben weiterhin voraus. Die Frage ist deshalb nicht, ob lokal oder Cloud, sondern welche Aufgaben wohin gehören.

Offene Modelle: Was heute auf dem eigenen Rechner läuft

Grundlage sind sogenannte Open-Weight-Modelle. Die Hersteller veröffentlichen dabei die trainierten Gewichte, also das Ergebnis des Trainings, das man herunterladen und ausführen kann. Die Trainingsdaten und der Trainingscode bleiben meist unter Verschluss, deshalb ist „offen“ hier enger gemeint als bei klassischer Open-Source-Software. Die wichtigsten Familien im Herbst 2026:

  • Llama von Meta hat die Bewegung 2023 ins Rollen gebracht. Die Lizenz erlaubt die kommerzielle Nutzung, enthält aber eigene Bedingungen.
  • Qwen von Alibaba bietet eine breite Auswahl von sehr kleinen bis sehr großen Modellen, darunter starke Varianten für das Programmieren.
  • Gemma von Google ist auf effiziente Modelle für einzelne Rechner und Geräte ausgelegt.
  • Mistral aus Frankreich veröffentlicht mehrere Modelle unter der freizügigen Apache-2.0-Lizenz – für europäische Unternehmen auch wegen des Firmensitzes interessant.
  • gpt-oss ist die offene Modellreihe von OpenAI, die 2025 erschien; die kleinere Variante läuft bereits auf Rechnern mit 16 GB Speicher.
  • DeepSeek aus China sorgte Anfang 2025 mit einem offenen Modell für Aufsehen, das bei logischem Schlussfolgern mit führenden Cloud-Modellen mithalten konnte. Phi von Microsoft steht für kleine, sparsame Modelle.

Zwei Begriffe helfen bei der Auswahl. Die Zahl der Parameter, angegeben in Milliarden (etwa 8B oder 70B), beschreibt grob die Größe und damit den Speicherbedarf eines Modells. Und Quantisierung bedeutet, die Zahlen im Modell mit geringerer Genauigkeit zu speichern, typischerweise mit 4 statt 16 Bit. Das verkleinert ein Modell auf etwa ein Viertel bei meist moderatem Qualitätsverlust. Viele neuere Modelle arbeiten außerdem nach dem Mixture-of-Experts-Prinzip: Für jede Antwort rechnet nur ein Teil des Modells, was Tempo bringt, aber am Speicherbedarf für das Gesamtmodell nichts ändert.

Vor dem Einsatz im Unternehmen lohnt sich ein Blick in die Lizenz des jeweiligen Modells. Einige erlauben fast alles, andere schränken bestimmte Nutzungen ein oder verlangen Hinweise auf die Herkunft.

Die Werkzeuge: Ollama, LM Studio, llama.cpp, Open WebUI und AnythingLLM

Um ein offenes Modell zu nutzen, braucht es eine Software, die es lädt, ausführt und eine Bedienoberfläche oder Schnittstelle bereitstellt. Fünf Werkzeuge haben sich durchgesetzt, alle kostenlos nutzbar.

Ollama: der einfachste Einstieg

Ollama gibt es für Windows, macOS und Linux. Nach der Installation genügt ein Befehl oder unter Windows und macOS ein Klick in der Desktop-App, um ein Modell aus der Bibliothek herunterzuladen und zu starten. Registrierung oder Konfigurationsdateien sind nicht nötig. Der eigentliche Clou für Unternehmen: Ollama stellt auf dem Rechner eine Programmierschnittstelle bereit, die zur Schnittstelle von OpenAI kompatibel ist und standardmäßig unter localhost:11434 erreichbar ist. Anwendungen, die bisher ChatGPT ansprechen, lassen sich mit wenigen Anpassungen auf ein lokales Modell umstellen.

LM Studio: die grafische Oberfläche

Wer sich im Terminal nicht wohlfühlt, ist mit LM Studio gut bedient. Die Oberfläche erinnert an ChatGPT. Über die eingebaute Suche laden Sie Modelle herunter, und LM Studio weist darauf hin, wenn eine Modellvariante voraussichtlich zu groß für den eigenen Rechner ist. Auf Macs mit Apple-Chips nutzt LM Studio neben dem verbreiteten Format GGUF auch das für diese Prozessoren optimierte MLX. Für Experimente – welches Modell beantwortet meine Fragen am besten? – ist das Programm ideal, der Wechsel zwischen Modellen dauert Sekunden.

llama.cpp: der Motor im Hintergrund

Viele dieser Werkzeuge bauen auf llama.cpp auf, einem quelloffenen Projekt des Entwicklers Georgi Gerganov. Es macht Sprachmodelle auf gewöhnlicher Hardware überhaupt erst praktikabel: mit Optimierungen für moderne Prozessoren, für Apple-Chips, für Grafikkarten von Nvidia und AMD. Die meisten Anwender kommen mit llama.cpp nie direkt in Berührung. Wer Leistung feinjustieren will, findet hier die Stellschrauben.

Open WebUI: die Chat-Oberfläche fürs Team

Open WebUI ist eine Weboberfläche, die auf einem Server im Firmennetz läuft und sich für die Beschäftigten wie ein vertrauter Chat-Assistent anfühlt. Sie bietet Benutzerkonten und Rechteverwaltung, Gesprächsverläufe, das Einbinden von Dokumenten und eine Bibliothek mit Vorlagen für häufige Anfragen. Im Hintergrund können lokale Modelle über Ollama, aber auch Cloud-Modelle angebunden werden – praktisch, um je nach Vertraulichkeit zu entscheiden, wohin eine Anfrage geht. Die Lizenz erlaubt die kostenlose Nutzung im Unternehmen, solange der Name Open WebUI in der Oberfläche sichtbar bleibt; wer bei mehr als 50 Nutzern ein eigenes Erscheinungsbild will, braucht eine Enterprise-Lizenz.

AnythingLLM: wenn die KI Ihre Dokumente kennen soll

Ein Sprachmodell weiß nichts über Ihre internen Richtlinien, Verträge oder Handbücher. AnythingLLM schließt diese Lücke mit einem Verfahren namens Retrieval Augmented Generation (RAG). Vereinfacht: Die Software zerlegt Ihre Dokumente in Abschnitte und legt sie in einer lokalen Datenbank ab, die nach Bedeutung statt nach Stichworten sucht. Bei einer Frage holt sie die passenden Abschnitte heraus und gibt sie dem Modell als Grundlage für die Antwort mit. So kann eine Personalabteilung ihre Betriebsvereinbarungen durchsuchbar machen oder ein Ingenieurbüro seine Normensammlung – ohne dass ein Dokument das Haus verlässt.

Für den produktiven Betrieb mit vielen gleichzeitigen Nutzern kommen Server-Werkzeuge wie vLLM hinzu, die auf hohe Auslastung von Grafikkarten ausgelegt sind. Für den Einstieg und für kleine Teams reichen die fünf genannten.

Welche Hardware Sie wirklich brauchen

Die wichtigste Größe ist der Speicher, in den das Modell passen muss: bei Grafikkarten der Grafikspeicher (VRAM), bei Apple-Rechnern und einigen neueren PC-Prozessoren der gemeinsame Arbeitsspeicher. Als Faustregel braucht ein auf 4 Bit quantisiertes Modell gut ein halbes Gigabyte pro Milliarde Parameter, dazu Reserven für den Gesprächsverlauf.

Einstieg auf dem Laptop
  • Moderner Laptop mit 16 GB Arbeitsspeicher, integrierte Grafik genügt
  • Modelle mit etwa 3 bis 8 Milliarden Parametern, quantisiert
  • Geeignet für Zusammenfassungen, Umformulierungen, einfache Fragen
  • Antworttempo spürbar langsamer als in der Cloud, aber flüssig lesbar
Arbeitsplatzrechner für regelmäßige Nutzung
  • Desktop mit 32 GB Arbeitsspeicher und einer Grafikkarte mit 12 bis 16 GB Grafikspeicher
  • Modelle bis etwa 14 Milliarden Parameter (quantisiert) laufen vollständig auf der Grafikkarte
  • Ein Modell mit 70 Milliarden Parametern braucht dagegen auch quantisiert rund 40 bis 48 GB Speicher; empfehlenswert sind 64 GB Arbeitsspeicher, auf einer 12-GB-Karte läuft es überwiegend auf dem Prozessor und entsprechend langsam
Team- oder Abteilungsserver
  • Workstation oder Server mit einer oder mehreren Grafikkarten mit 24 bis 32 GB Grafikspeicher oder eine professionelle Rechenkarte
  • Alternativ Rechner mit großem gemeinsamem Speicher, etwa ein Mac Studio mit Apple-Chip oder kompakte KI-Rechner mit 128 GB, wie sie Nvidia und mehrere PC-Hersteller seit 2025 anbieten
  • Geeignet für größere Modelle und mehrere gleichzeitige Nutzer

Meine Empfehlung: Kaufen Sie nicht zuerst Hardware. Testen Sie auf vorhandenen Rechnern, welche Modellgröße für Ihre Aufgaben genügt, und dimensionieren Sie erst dann.

Lokale KI im Unternehmen: vom Einzelplatz zum Teamserver

Der Weg vom Experiment auf einem Laptop zum Dienst für eine Abteilung ist kürzer, als viele denken, verlangt aber dieselbe Sorgfalt wie jede andere Unternehmensanwendung. Angenommen, eine Steuerkanzlei möchte ihren Mitarbeitenden einen KI-Assistenten für Mandantenkorrespondenz bereitstellen. Ein typischer Aufbau: ein Server im eigenen Netz mit Ollama oder vLLM, davor Open WebUI mit Anmeldung über die vorhandenen Benutzerkonten, dazu eine Dokumentensammlung mit Mustertexten und Fachinformationen. Kein Mandantendatum geht nach außen.

Damit das funktioniert, müssen einige Fragen geklärt sein: Wer darf welche Dokumente durchsuchen? Wer aktualisiert die Modelle, und wer prüft neue Versionen, bevor sie live gehen? Wie werden Zugriffe protokolliert? Und wie werden Beschäftigte geschult, damit sie Antworten kritisch prüfen? Denn auch ein lokales Modell kann sich irren oder Fakten erfinden. Die Pflichten der europäischen KI-Verordnung gelten unabhängig davon, wo das Modell läuft – etwa, als Betreiber Maßnahmen zur Förderung der KI-Kompetenz der Beschäftigten zu treffen.

Lokale Modelle lassen sich außerdem in Automatisierungen einbinden, etwa mit der Workflow-Plattform n8n, die Anfragen aus E-Mails oder Formularen an das Modell weiterreicht. Wie Ollama, LM Studio und RAG zusammenspielen und wie Sie einen solchen Aufbau planen, zeigt das Seminar Lokale KI mit Ollama und LM Studio.

Lokale Modelle beim Programmieren

Ein besonders gefragtes Einsatzgebiet ist die Softwareentwicklung, weil Quellcode oft zu den wertvollsten Geschäftsgeheimnissen gehört. Mehrere Editor-Erweiterungen und quelloffene Coding-Agenten lassen sich statt mit einem Cloud-Modell mit einem lokal laufenden Modell verbinden. Für Codevervollständigung, Erklärungen und überschaubare Änderungen funktioniert das gut. Bei großen Aufgaben, die über viele Dateien und viele Arbeitsschritte gehen, sind Cloud-Agenten wie Claude Code derzeit klar im Vorteil; wie solche Agenten arbeiten, erklärt der Beitrag Claude Code: Was die KI von Anthropic beim Programmieren kann. Welche Werkzeugklassen es insgesamt gibt und wie sie sich kombinieren lassen, zeigt die Übersicht KI-Tools für Entwickler.

Die ehrlichen Grenzen

Lokale KI ist beeindruckend, aber kein Ersatz für alles:

  • Leistung: Ein Modell mit acht Milliarden Parametern auf einem Laptop reicht nicht an die großen Cloud-Modelle heran, besonders bei längeren Schlussfolgerungen, Fachfragen und Programmieraufgaben über viele Dateien.
  • Speicher und Download: Große Modelle umfassen auch quantisiert Dutzende Gigabyte. Download und erster Start brauchen Zeit und Platz.
  • Bilder und Sprache: Es gibt offene Modelle, die Bilder verstehen oder gesprochene Sprache verarbeiten, sie sind aber weniger ausgereift als die multimodalen Funktionen der großen Anbieter.
  • Betrieb: Updates, Sicherheit, Zugriffsrechte und Überwachung liegen bei Ihnen. Was in der Cloud der Anbieter erledigt, kostet lokal Arbeitszeit.
  • Energie: Eine ausgelastete Grafikkarte verbraucht mehrere Hundert Watt. Bei Dauerbetrieb gehört das in die Kostenrechnung.

So fangen Sie an

Ein Einstieg in drei Stufen hat sich bewährt:

  1. Ausprobieren (eine halbe Stunde): Ollama oder LM Studio installieren, ein kleines Modell laden und ein paar typische Fragen aus Ihrem Arbeitsalltag stellen. Beobachten Sie, wie schnell und wie gut die Antworten sind.
  2. Vergleichen (einige Stunden): Zwei oder drei Modelle unterschiedlicher Größe mit denselben Aufgaben testen, etwa einem Kundenanschreiben, einer Zusammenfassung und einer Rechenaufgabe. Notieren Sie, ab welcher Größe die Ergebnisse brauchbar werden.
  3. Mit eigenen Dokumenten arbeiten (nach Bedarf): AnythingLLM oder Open WebUI einrichten, eine überschaubare Sammlung unkritischer Dokumente einbinden und prüfen, ob die Antworten die richtigen Stellen finden. Erst danach über einen Teamserver und Hardware entscheiden.

Einschätzung: Cloud, lokal oder beides?

Für die meisten Unternehmen ist die Antwort ein Sowohl-als-auch. Für allgemeine Recherche, kreative Texte und anspruchsvolle Analysen ohne vertrauliche Daten sind Cloud-Dienste mit Geschäftskundenvertrag die leistungsstärkste und bequemste Lösung. Für Personaldaten, Gesundheitsdaten, Mandanteninformationen, Quellcode und Konstruktionswissen ist ein lokales Modell oft die bessere Wahl – oder die einzige, die Datenschutz und Geschäftsleitung mittragen.

Überschätzt wird, wie viel Aufwand der Einstieg kostet: Ein Test auf vorhandener Hardware ist an einem Nachmittag erledigt. Unterschätzt wird der Aufwand für einen dauerhaften, sicheren Betrieb im Team. Wer beides realistisch einplant, gewinnt mit lokaler KI ein Stück Unabhängigkeit, das angesichts schwankender Preise und politischer Unsicherheiten an Wert gewinnt. Weitere Seminare zu Sprachmodellen, RAG und Automatisierung finden Sie auf der Themenseite Künstliche Intelligenz (KI).

Häufige Fragen zu lokaler KI

Was sind die Vorteile lokaler KI-Modelle gegenüber Cloud-KI?

Die Daten bleiben im eigenen Haus, es fallen keine Gebühren pro Anfrage an, und Sie bestimmen selbst, welches Modell in welcher Version läuft. Dafür übernehmen Sie Betrieb und Wartung, und die Leistung reicht nicht an die stärksten Cloud-Modelle heran.

Welche Hardware brauche ich, um KI lokal zu betreiben?

Für erste Versuche genügt ein Laptop mit 16 GB Arbeitsspeicher. Für regelmäßige Nutzung mittelgroßer Modelle empfiehlt sich eine Grafikkarte mit mindestens 12 GB Grafikspeicher oder ein Rechner mit großem gemeinsamem Speicher. Modelle mit 70 Milliarden Parametern brauchen auch quantisiert rund 40 bis 48 GB.

Ist lokale KI mit der DSGVO vereinbar?

Lokale KI erleichtert den Datenschutz deutlich, weil die Übermittlung an externe Anbieter entfällt. Automatisch DSGVO-konform ist sie deshalb nicht: Rechtsgrundlage, Zweckbindung, Zugriffsrechte, Löschfristen und technische Schutzmaßnahmen müssen Sie trotzdem regeln.

Sind lokale Modelle so gut wie ChatGPT oder Claude?

Bei Alltagsaufgaben wie Zusammenfassen, Umformulieren und Fragen zu eigenen Dokumenten liefern gute offene Modelle brauchbare Ergebnisse. Bei komplexem Schlussfolgern, Programmieraufgaben über viele Dateien und aktuellem Weltwissen liegen die großen Cloud-Modelle vorn.

Darf ich offene Modelle kommerziell nutzen?

Meist ja, aber die Lizenzen unterscheiden sich. Modelle unter Apache 2.0 oder MIT-Lizenz sind weitgehend frei nutzbar, andere wie Llama haben eigene Lizenzbedingungen. Prüfen Sie die Lizenz vor dem produktiven Einsatz.

Weitere Artikel

Ihr Kommentar zum Artikel

"Lokale KI-Modelle statt Cloud: Datenschutz, Kosten und Kontrolle mit Ollama, LM Studio & Co."

Wir freuen uns über Ihren Kommentar und antworten so schnell es geht!

Vielen Dank, Ihr Kommentar wurde empfangen!
Beim Absenden des Formulars ist etwas schiefgelaufen.
Unsere Beratungsleistungen zum Thema

Künstliche Intelligenz (KI)

Wir erweitern ständig unser Beratungsportfolio. Über 600 Beratungsleistungen haben wir für Sie im Programm. Selbstverständlich lassen sich die einzelnen Themen kombinieren. So erhalten Sie genau die Beratung, die Sie wünschen und brauchen.

Mehr IT-, Online-, Digital-Beratungsleistungen anzeigen >>

Kontaktanfrage

Mit dem Absenden dieses Formulars erklären Sie sich damit einverstanden, dass wir Ihre Anfrage (Name, E-Mail-Adresse, Telefonnummer, Interessensgebiet und Nachricht) an den zuständigen Kooperationspartner weiterleiten, der die Beratung und Durchführung der Weiterbildung übernimmt. Der jeweilige Partner ist eigenständig verantwortliches Unternehmen im Sinne der DSGVO und wird sich direkt mit Ihnen in Verbindung setzen.

Das Angebot von "HECKER CONSULTING" richtet sich ausschließlich an Unternehmen und Behörden (iSv § 14 BGB). Verbraucher (§ 13 BGB) sind vom Vertragsschluss ausgeschlossen. Mit Absendung der Anfrage bestätigt der Anfragende, dass er nicht als Verbraucher, sondern in gewerblicher Tätigkeit handelt. § 312i Abs. 1 S. 1 Nr. 1-3 und S. 2 BGB (Pflichten im elektronischen Geschäftsverkehr) finden keine Anwendung.

Sie suchen eine geförderte Weiterbildung mit Bildungsgutschein?
‍Beratung über unsere Kursseiten.

Vielen Dank, Ihre Nachricht wurde empfangen!
Beim Absenden des Formulars ist etwas schiefgelaufen.
WEITERE INFORMATIONEN AUS UNSEREM BLOG ZUM THEMA

Künstliche Intelligenz (KI)

Aktuelle und interessante Themen und Beiträge für Sie zusammengetragen und aufbereitet.

Mehr IT-, Online-, Digital-Neuigkeiten anzeigen >>
Nach oben