Une erreur courante dans la planification d'un projet d'IA est de partir du plus grand modèle disponible, pour découvrir ensuite qu'il faut une infrastructure disproportionnée par rapport à la valeur du cas d'usage. La même qualité perçue s'obtient souvent avec un modèle plus petit, correctement optimisé — pour une fraction du coût.
Qu'est-ce que la quantification, en pratique
Un modèle stocke ses paramètres sous forme de nombres avec une certaine précision (typiquement 16 bits). La quantification réduit cette précision — à 8 bits, voire 4 bits — diminuant proportionnellement la mémoire nécessaire et augmentant souvent la vitesse de réponse, au prix d'une perte de qualité minime, voire imperceptible, pour de nombreuses tâches d'entreprise.
Les techniques que nous utilisons le plus souvent
- Des formats comme GGUF, conçus pour exécuter des modèles quantifiés même sur CPU ou du matériel modeste, utiles pour les prototypes et les volumes limités.
- Des techniques de quantification pour GPU (comme GPTQ ou AWQ), qui maintiennent une bonne qualité tout en réduisant significativement les besoins en mémoire vidéo.
- La distillation vers des modèles plus petits, entraînés à imiter le comportement d'un modèle plus grand sur une tâche spécifique.
- Des techniques d'accélération de la génération (comme le décodage spéculatif), utiles lorsque la latence perçue par l'utilisateur compte autant que la qualité de la réponse.
Ce que l'on perd vraiment en qualité
Cela dépend de la tâche, et doit être mesuré honnêtement au cas par cas : sur des conversations ouvertes ou des tâches de raisonnement très complexes, la perte peut être perceptible ; sur des tâches plus circonscrites — extraction, classification, RAG sur documents — elle est souvent négligeable. C'est pourquoi, avant de choisir le niveau de quantification en production, nous testons toujours sur le cas d'usage réel du client, pas sur un benchmark générique.
Un exemple indicatif
Dans un cas d'usage typique d'assistant interne sur la documentation d'entreprise, passer d'un modèle non quantifié à une version quantifiée à 8 bits peut réduire les besoins en mémoire GPU d'environ la moitié, avec une différence de qualité qui, dans les tests avec les utilisateurs finaux, s'avère souvent indiscernable. Ce sont des chiffres indicatifs, pas une garantie : le dimensionnement réel doit toujours être vérifié sur le projet spécifique.