Blogartikel mit einem lokal gehosteten KI-Modell erstellen, unser Erfahrungsbericht

Wir haben es ausprobiert. Rohentwürfe lokal, auf eigener Hardware, mit einem Open-Source-Modell. Kein Cloud-Dienst. Keine API-Kosten. Kein Text, der beim Schreiben das Büro verlässt. Das Ergebnis: Es funktioniert. Aber es ist keine Wunderwaffe. Und genau deshalb lohnt sich der genaue Blick.

Warum überhaupt lokal?

Drei Gründe.

Erstens Datenhoheit: Briefings, Rohtexte und interne Informationen bleiben auf der eigenen Hardware. Kein Prompt landet auf fremden Servern, solange wir das nicht wollen.

Zweitens Kosten: Der Rohentwurf ist der tokenhungrigste Schritt jeder KI-Textproduktion. Wer genau diesen Schritt auf eigene Hardware verlagert, zahlt pro Entwurf nichts mehr, egal wie viele Anläufe er braucht.

Drittens Unabhängigkeit: Offene Modelle unter freier Lizenz laufen dort, wo wir sie hinstellen. Wer damit arbeitet, bleibt handlungsfähig, auch wenn sich Anbieter, Preise oder Rechtslagen ändern.

Das Setup: Was bei uns läuft

Ein Mac Mini M4 Pro mit 24 GB RAM. Darauf läuft Ollama, ein lokaler Inference-Server: ein Programm, das Open-Source-Modelle direkt auf dem eigenen Rechner ausführt. Keine Cloud, kein Account bei einem KI-Anbieter, keine Datenübertragung. Installieren, Modell laden, loslegen.

Das Schreibmodell ist Gemma 4 12B. Apache-2.0-lizenziert und damit auch kommerziell frei nutzbar, rund 8 GB RAM-Bedarf, 64.000 Token Kontextfenster.

Warum genau dieses Modell? Die Gemma-Familie gehört in ihrer Gewichtsklasse zu den stärksten für deutschsprachige Texte. Die Lizenz erlaubt den Einsatz für Kundenprojekte. Und die 12B-Variante passt in den Parallelbetrieb: Der Mini macht nebenbei noch andere Dinge, ein größeres Modell würde ihn lahmlegen.

Das Kontextfenster klingt nach einem technischen Detail, ist aber der Punkt, an dem so ein Setup steht oder fällt: Briefing, Stilregeln, Strukturvorgaben und der entstehende Text müssen gleichzeitig hineinpassen. 64.000 Token reichen dafür komfortabel.

Die Arbeitsteilung läuft in drei Stufen. Das lokale Modell schreibt den Entwurf nach Briefing; Stil- und Strukturregeln bekommt es als feste Systemvorgabe mitgeliefert. Claude lektoriert, und zwar nicht als Rechtschreibkorrektur, sondern als Stil-Rewrite: Fakten aus dem Entwurf extrahieren, Referenzartikel lesen, frei neu schreiben. Ein Mensch gibt frei. Nichts geht live ohne diesen letzten Schritt.

Keine Automatisierung. Eine Arbeitsteilung.

Was gut funktioniert

Das Modell hält Struktur. Es folgt den Briefing-Vorgaben, baut die vorgeschriebenen Blöcke ein, setzt Shortcodes korrekt und erfindet keine Links. Das klingt nach einem kleinen Gewinn. Es ist ein großer.

Denn die eigentliche Sorge bei kleinen Modellen ist nicht der einzelne Fehler. Es ist Chaos: Texte, die sich weder ans Briefing noch an die Vorlage halten und deren Korrektur länger dauert als das Selberschreiben. Genau das passiert hier nicht. Der Korrekturaufwand ist planbar. Und Planbarkeit ist in einer Redaktionskette mehr wert als Brillanz.

Auch der Grundton stimmt. Nicht sofort, aber nach wenigen Kalibrier-Runden. Das Modell startet generisch und wird mit jedem präzisierten Briefing besser.

Ein Entwurf dauert 5 bis 8 Minuten. Token-Gebühren: null. Die Maschine steht ohnehin da.

Den vollständigen Aufbau unserer Publikationskette beschreiben wir ausführlich im Artikel über unseren KI-Workflow für Blog-Content.

Wo die Grenzen liegen

Fünf Punkte. Kein Marketing-Spin.

• Grammatik und Wortebene: Kleinere Modelle machen Fehler, die ein großes Modell nicht macht. Erfundene Wörter, falsche Genera, schiefe Formulierungen. In unseren Testläufen sollte ein Vertriebsteam „anrinnen“ statt anrufen, und aus dem Punktesystem wurde ein „Pointesystem“. Auf 800 Wörter kamen fünf bis sechs harte Fehler. Für einen Rohtext okay, für Publikation indiskutabel. Lektorat ist Pflicht, keine Kür.
• Halluzination bei Regelkonflikten: Wenn Briefing und Strukturvorgabe sich widersprechen, löst ein kleines Modell den Konflikt nicht durch Nachfragen, sondern durch Erfinden. In einem Test verlangte die Struktur eine Zahl, das Briefing enthielt keine. Also erfand das Modell eine Preisspanne. Gefixt hat das erst eine explizite Vorrangregel: Zahlen erfinden kommt nie in Frage, egal was die Struktur verlangt.
• Sprach-Priors: Das Modell fällt ins förmliche „Sie“ zurück, egal wie klar das Briefing „ihr“ vorgibt. Der Grund ist simpel: Deutsche Geschäftstexte im Trainingsmaterial siezen fast durchgehend. Gegen dieses Gewicht kommt eine einzelne Regel nicht an. Regeln helfen. Wörtliche Beispiele im Prompt helfen mehr.
• Hardware-Grenze: Größere Modelle ab etwa 19 GB passen nicht mehr in den Parallelbetrieb auf 24 GB RAM. Die Modellwahl ist damit keine reine Qualitätsfrage, sondern eine Hardware-Frage. Wer mehr Modell will, braucht mehr Maschine.
• Kein Feinschliff: Rhythmus, Haltung, Punchlines. Der letzte Feinschliff kommt nicht aus dem kleinen Modell. Er kommt aus dem Lektorat. Wer den Rohentwurf direkt veröffentlicht, veröffentlicht einen Rohentwurf.

Was das Setup kostet

Der Mac Mini M4 Pro hat uns einmalig 1.299 Euro gekostet. Laufend kommen Stromkosten für den Mac Mini sowie Kosten für das Claude-Lektorat hinzu. Token-Gebühren für Entwürfe: keine.

Die Rechnung dahinter: Ein kompletter Artikel aus einem Cloud-Modell kostet bei jeder Generierung Tokens, bei jedem Anlauf aufs Neue. Ein Lektorat-Durchlauf über einen fertigen Entwurf kostet einen Bruchteil davon. Wer den teuren Schritt auf die eigene Hardware verlagert und nur den günstigen in der Cloud lässt, spart bei jedem einzelnen Artikel.

Die Rohentwürfe entstehen komplett lokal. Kein Prompt, kein Briefing, kein Text verlässt in dieser Phase das Büro. Erst das Lektorat läuft bewusst über einen externen Anbieter. Diese Grenze ziehen wir selbst, und wir können sie jederzeit verschieben. Für Unternehmen, die mit sensiblen Inhalten arbeiten, ist genau diese Kontrolle das eigentliche Argument.

Das ist der Punkt.

Wie wir diesen Ansatz im Rahmen unseres Inbound-Marketing-Angebots auch für Kunden umsetzen, zeigen wir auf unserer Leistungsseite.

Für wen lohnt sich das

Für Content-Teams, die regelmäßig produzieren: Je mehr Artikel durch die Kette laufen, desto schneller amortisieren sich Hardware und Kalibrierungsaufwand. Für Unternehmen, denen Datenhoheit wichtig ist und die wissen wollen, wo ihre Texte entstehen. Für alle, die bereit sind, eine Kette zu bauen statt eine Maschine zu bedienen. Wie diese Kette in eine größere Content-Marketing-Strategie einzahlt, beschreiben wir in einem eigenen Artikel.

Nicht für Teams, die nur gelegentlich einzelne Artikel produzieren und keine Kapazität für Kalibrierung haben. Da ist ein Cloud-Modell die bessere Wahl: keine Hardware, keine Einrichtung, sofort einsatzbereit.

Wer ein Ein-Klick-System erwartet, wird enttäuscht. Wer eine Arbeitsteilung aufbaut, spart echte Kosten und behält die Kontrolle.

Was am Ende zählt: die Kette, nicht das Modell

Das Modell ist nicht der Kern dieser Geschichte. Die Kette ist es. Lokale Rohentwürfe, professionelles Lektorat, menschliche Freigabe. Jede Stufe macht das, was sie am besten kann, und keine ersetzt die andere. Wer das aufbaut, gewinnt Kontrolle und spart echte Kosten. Wer nur das Modell installiert, hat ein Spielzeug.

Eine Anmerkung zum Schluss: Der Rohentwurf dieses Artikels stammt von genau dem beschriebenen lokalen Modell. Er kam so aus der Maschine, wie wir es oben beschreiben: strukturell solide, sprachlich roh. Was ihr hier lest, ist das Ergebnis der beschriebenen Kette. Lokaler Entwurf, Claude-Lektorat, menschliche Freigabe. Der Artikel ist sein eigener Beweis.