Un errore comune nella pianificazione di un progetto AI è partire dal modello più grande disponibile, per poi scoprire che serve un'infrastruttura sproporzionata rispetto al valore del caso d'uso. Spesso la stessa qualità percepita si ottiene con un modello più piccolo, ottimizzato correttamente — a una frazione del costo.
Cos'è la quantizzazione, in pratica
Un modello memorizza i suoi parametri come numeri con una certa precisione (tipicamente 16 bit). La quantizzazione riduce questa precisione — a 8 bit, o anche 4 bit — riducendo in proporzione la memoria necessaria e spesso aumentando la velocità di risposta, a fronte di una perdita di qualità che per molti compiti aziendali è minima o non percepibile.
Le tecniche che usiamo più spesso
- Formati come GGUF, pensati per eseguire modelli quantizzati anche su CPU o hardware modesto, utili per prototipi e volumi contenuti.
- Tecniche di quantizzazione per GPU (come GPTQ o AWQ), che mantengono buona qualità mentre riducono in modo significativo il fabbisogno di memoria video.
- Distillazione verso modelli più piccoli, addestrati per imitare il comportamento di un modello più grande su un compito specifico.
- Tecniche di velocizzazione della generazione (come il decoding speculativo), utili quando la latenza percepita dall'utente conta quanto la qualità della risposta.
Quanto si perde davvero in qualità
Dipende dal compito, e va onestamente misurato caso per caso: su conversazioni aperte o compiti di ragionamento molto complesso la perdita può essere percepibile; su compiti più circoscritti — estrazione, classificazione, RAG su documenti — spesso è trascurabile. Per questo, prima di scegliere il livello di quantizzazione in produzione, testiamo sempre sul caso d'uso reale del cliente, non su un benchmark generico.
Un esempio indicativo
In un caso d'uso tipico di assistente interno su documentazione aziendale, passare da un modello non quantizzato a una versione quantizzata a 8 bit può ridurre il fabbisogno di memoria GPU di circa la metà, con una differenza di qualità che nei test con gli utenti finali risulta spesso non distinguibile. Sono numeri indicativi, non una garanzia: il dimensionamento reale va sempre verificato sul progetto specifico.