Es ist oft der erste Einwand, den wir hören: KI ins Unternehmen zu bringen, scheint eine Hardware-Investition ausserhalb jeder Grössenordnung zu erfordern. In der Praxis hängt die Dimensionierung von drei Variablen ab — Modellgrösse, Quantisierungstechnik, tatsächliches Anfragevolumen — und erfordert fast nie das, was man sich zu Beginn vorstellt.
Die Grössenordnungen, die zählen
- 7-8B-Modelle: laufen gut auf einer einzelnen professionellen GPU oder sogar auf Workstation-Hardware, ideal für interne Assistenten und RAG bei überschaubarem Volumen.
- 13-14B-Modelle: benötigen eine GPU mit mehr dediziertem Speicher, bleiben mit Quantisierung auf einer einzelnen Karte handhabbar.
- 70B-Modelle: erfordern normalerweise mehrere GPUs parallel, oder eine aggressive Quantisierung, um auf einer kleineren Konfiguration zu laufen.
- MoE-Modelle (Mixture-of-Experts, wie einige Mistral- oder DeepSeek-Varianten): aktivieren pro Anfrage nur einen Teil der Parameter, wodurch sich die Bedarfsrechnung gegenüber einem dichten Modell derselben nominellen Grösse ändert.
Die Quantisierung verändert die Rechnung
Die Reduzierung der numerischen Präzision der Gewichte (von FP16 auf INT8 oder INT4) senkt den benötigten Speicher deutlich, bei einem Qualitätsverlust, der für viele Unternehmensanwendungen kaum spürbar ist. Sie ist oft der wirksamste Hebel, um ein Modell, das sonst eine deutlich teurere Infrastruktur erfordern würde, auf vernünftiger Hardware in Produktion zu bringen.
Souveräne Cloud oder eigene Infrastruktur?
Das ist keine ideologische, sondern eine Cashflow- und Planbarkeitsfrage. Eigene Hardware ist sinnvoll, wenn das Nutzungsvolumen über die Zeit stabil und vorhersehbar ist: Die Investition amortisiert sich, und die Grenzkosten sinken. Eine souveräne Schweizer Cloud ist sinnvoll, wenn die Volumina schwanken, sich das Projekt in der Validierungsphase befindet, oder wenn man die anfängliche Kapitalbindung vermeiden möchte, ohne auf den Datenstandort Schweiz zu verzichten.
Die Rechnung, die wir mit Kunden aufstellen
- Wie viele Anfragen pro Tag, realistisch betrachtet, und mit welchen Spitzen?
- Welche Latenz ist für den Endnutzer akzeptabel?
- Erfordern die betroffenen Daten eine physische Isolation, oder genügt der Datenstandort Schweiz?
- Bevorzugen Sie eine Kapitalinvestition (eigene Hardware) oder eine variable Betriebskostenstruktur (Cloud)?
Erst nach der Beantwortung dieser Fragen ist es sinnvoll, über konkrete GPUs und Konfigurationen zu sprechen. Mit der Hardware vor dem Anwendungsfall zu beginnen, ist der häufigste Weg, doppelt so viel wie nötig auszugeben — oder umgekehrt zu unterdimensionieren und dies erst in Produktion festzustellen.