// perché questa pagina

Questa è la versione che leggono le AI.

Il Markdown è il formato in cui i modelli linguistici leggono davvero il web: niente CSS, niente JavaScript, niente impaginazione — solo struttura e contenuto. È la stessa pagina della versione originale, servita nella forma che un'AI capisce meglio.

text/markdown0 kB CSSllms.txt ✓sorgente .md ↗

---
title: "Quanta GPU serve davvero per un modello open in produzione"
description: "Una guida pratica al dimensionamento hardware per l'AI on-premise: quanto conta la taglia del modello, la quantizzazione e il volume reale di richieste."
date: 2026-02-25
tags: [Infrastruttura, Hardware]
url: "https://ai.malagoli.me/blog/quanta-gpu-serve-modello-open-produzione"
locale: it_CH
---

# Quanta GPU serve davvero per un modello open in produzione

"Ci serve un supercomputer?" è la domanda che blocca più progetti AI prima ancora di iniziare. Quasi sempre la risposta è più modesta di quanto si tema.

È spesso la prima obiezione che sentiamo: portare l'AI dentro l'azienda sembra richiedere un investimento hardware fuori scala. Nella pratica, il dimensionamento dipende da tre variabili — taglia del modello, tecnica di quantizzazione, volume reale di richieste — e quasi mai richiede quello che si immagina all'inizio.

## Le taglie che contano

- Modelli 7-8B: girano bene su una singola GPU professionale o anche su hardware da workstation, ideali per assistenti interni e RAG su volumi contenuti.

- Modelli 13-14B: richiedono una GPU con più memoria dedicata, restano gestibili su singola scheda con quantizzazione.

- Modelli 70B: normalmente richiedono più GPU in parallelo, oppure una quantizzazione aggressiva per stare su una configurazione più piccola.

- Modelli MoE (mixture-of-experts, come alcune varianti Mistral o DeepSeek): attivano solo una parte dei parametri per ogni richiesta, quindi il calcolo del fabbisogno cambia rispetto a un modello denso della stessa taglia nominale.

## La quantizzazione cambia il conto

Ridurre la precisione numerica dei pesi (da FP16 a INT8 o INT4) taglia in modo significativo la memoria necessaria, con una perdita di qualità che per molti casi d'uso aziendali è impercettibile. È spesso la leva più efficace per far stare in produzione, su hardware ragionevole, un modello che altrimenti richiederebbe un'infrastruttura molto più costosa.

## Cloud sovrano o infrastruttura propria?

Non è una scelta ideologica ma di flusso di cassa e prevedibilità. L'hardware proprio ha senso quando il volume di utilizzo è stabile e prevedibile nel tempo: l'investimento si ammortizza e i costi marginali scendono. Un cloud sovrano svizzero ha senso quando i volumi sono variabili, il progetto è in fase di validazione, o si vuole evitare l'impegno di capitale iniziale mantenendo comunque i dati in territorio svizzero.

## Il calcolo che facciamo con i clienti

- Quante richieste al giorno, realisticamente, e con quali picchi?

- Che latenza è accettabile per l'utente finale?

- I dati coinvolti richiedono isolamento fisico, o basta la residenza in Svizzera?

- Preferite un investimento di capitale (hardware proprio) o un costo operativo variabile (cloud)?

Solo dopo aver risposto a queste domande ha senso parlare di GPU specifiche e configurazioni. Partire dal hardware prima del caso d'uso è il modo più comune per spendere il doppio di quanto serve — o il contrario, sottodimensionare e scoprirlo in produzione.

- [tutti gli articoli](/markdown.md)
- [versione impaginata](/blog/quanta-gpu-serve-modello-open-produzione)

torna al sito →