È spesso la prima obiezione che sentiamo: portare l'AI dentro l'azienda sembra richiedere un investimento hardware fuori scala. Nella pratica, il dimensionamento dipende da tre variabili — taglia del modello, tecnica di quantizzazione, volume reale di richieste — e quasi mai richiede quello che si immagina all'inizio.
Le taglie che contano
- Modelli 7-8B: girano bene su una singola GPU professionale o anche su hardware da workstation, ideali per assistenti interni e RAG su volumi contenuti.
- Modelli 13-14B: richiedono una GPU con più memoria dedicata, restano gestibili su singola scheda con quantizzazione.
- Modelli 70B: normalmente richiedono più GPU in parallelo, oppure una quantizzazione aggressiva per stare su una configurazione più piccola.
- Modelli MoE (mixture-of-experts, come alcune varianti Mistral o DeepSeek): attivano solo una parte dei parametri per ogni richiesta, quindi il calcolo del fabbisogno cambia rispetto a un modello denso della stessa taglia nominale.
La quantizzazione cambia il conto
Ridurre la precisione numerica dei pesi (da FP16 a INT8 o INT4) taglia in modo significativo la memoria necessaria, con una perdita di qualità che per molti casi d'uso aziendali è impercettibile. È spesso la leva più efficace per far stare in produzione, su hardware ragionevole, un modello che altrimenti richiederebbe un'infrastruttura molto più costosa.
Cloud sovrano o infrastruttura propria?
Non è una scelta ideologica ma di flusso di cassa e prevedibilità. L'hardware proprio ha senso quando il volume di utilizzo è stabile e prevedibile nel tempo: l'investimento si ammortizza e i costi marginali scendono. Un cloud sovrano svizzero ha senso quando i volumi sono variabili, il progetto è in fase di validazione, o si vuole evitare l'impegno di capitale iniziale mantenendo comunque i dati in territorio svizzero.
Il calcolo che facciamo con i clienti
- Quante richieste al giorno, realisticamente, e con quali picchi?
- Che latenza è accettabile per l'utente finale?
- I dati coinvolti richiedono isolamento fisico, o basta la residenza in Svizzera?
- Preferite un investimento di capitale (hardware proprio) o un costo operativo variabile (cloud)?
Solo dopo aver risposto a queste domande ha senso parlare di GPU specifiche e configurazioni. Partire dal hardware prima del caso d'uso è il modo più comune per spendere il doppio di quanto serve — o il contrario, sottodimensionare e scoprirlo in produzione.