Notizen aus vier Wochen, in denen ein Modell mit 32 Milliarden Parametern neben der Fräse lief. Über Latenz, Vertrauen und warum privat, lokal und langsam im B2B-Kontext der bessere Stack sein kann.
Ein Kunde, eine Fräse, ein Problem mit Vertrauen
Die Möbelmanufaktur schickt NC-Dateien an eine Fräse, die mit 1 800 Millimeter pro Minute arbeitet. Geprüft wurde bis dahin von Hand, freitagabends, von einem Menschen der eigentlich schon Feierabend hatte.
Das Problem war nie die Rechenleistung. Das Problem war die Frage, ob die Datei den Raum verlassen darf.
Lokal, langsam genug, privat per Definition
Ein Mac mini M2 mit 64 GB steht neben der Fräse. Daneben ein Monitor mit dem Dashboard. Das Modell läuft im Q4-Quant, zwölf Sekunden Kaltstart, danach 0,42 Sekunden pro Review.
- Vorschub-Ausreißer werden zuverlässig gefunden.
- Bei Geometrie-Urteilen liegt das Modell öfter daneben.
- Latenz ist kein Nachteil, sondern eine Denkpause.
Die Datei fühlt sich jetzt an, als hätte sie schon jemand gelesen, bevor ich sie öffne.
Werkstattleiter, nach Woche zwei
Warum langsam genug die richtige Geschwindigkeit ist
200 Millisekunden aus der Cloud gegen 420 Millisekunden lokal. Der Unterschied ist messbar und im Arbeitsalltag vollkommen egal.
$ ollama run qwen2.5-coder:32b
>>> review ./shape-01.nc --max-feed 1200
[ok] header present (G21 G90 G17)
[!!] line 214: F1800 exceeds --max-feed 1200
[ok] end block (M5 M30)
2 findings · 1 warning · 0.42s · localWirkung beim Kunden, in Zahlen
Vier Stunden vorher, 34 Minuten nachher. Das ergibt drei Stunden 26 Minuten pro Woche, mal 52 Wochen, mal 78 Euro Stundensatz. Rund 14 000 Euro im Jahr, bei 1 400 Euro Hardware.