C'est souvent la première objection que nous entendons : faire entrer l'IA dans l'entreprise semble exiger un investissement matériel hors norme. En pratique, le dimensionnement dépend de trois variables — la taille du modèle, la technique de quantification, le volume réel de requêtes — et exige presque jamais ce que l'on imagine au départ.
Les tailles qui comptent
- Modèles 7-8B : tournent bien sur un seul GPU professionnel, voire sur du matériel de station de travail, idéaux pour des assistants internes et du RAG sur des volumes limités.
- Modèles 13-14B : nécessitent un GPU avec davantage de mémoire dédiée, restent gérables sur une seule carte avec quantification.
- Modèles 70B : nécessitent normalement plusieurs GPU en parallèle, ou une quantification agressive pour tenir sur une configuration plus modeste.
- Modèles MoE (mixture-of-experts, comme certaines variantes de Mistral ou DeepSeek) : n'activent qu'une partie des paramètres à chaque requête, ce qui change le calcul des besoins par rapport à un modèle dense de même taille nominale.
La quantification change la donne
Réduire la précision numérique des poids (de FP16 à INT8 ou INT4) diminue de manière significative la mémoire nécessaire, avec une perte de qualité imperceptible pour de nombreux cas d'usage en entreprise. C'est souvent le levier le plus efficace pour faire tenir en production, sur du matériel raisonnable, un modèle qui exigerait sinon une infrastructure bien plus coûteuse.
Cloud souverain ou infrastructure propre ?
Ce n'est pas un choix idéologique, mais une question de trésorerie et de prévisibilité. Le matériel propre a du sens lorsque le volume d'utilisation est stable et prévisible dans le temps : l'investissement s'amortit et les coûts marginaux diminuent. Un cloud souverain suisse a du sens lorsque les volumes sont variables, que le projet est encore en phase de validation, ou que l'on souhaite éviter l'engagement de capital initial tout en conservant les données sur le territoire suisse.
Le calcul que nous faisons avec nos clients
- Combien de requêtes par jour, réalistement, et avec quels pics ?
- Quelle latence est acceptable pour l'utilisateur final ?
- Les données concernées nécessitent-elles un isolement physique, ou la résidence en Suisse suffit-elle ?
- Préférez-vous un investissement en capital (matériel propre) ou un coût opérationnel variable (cloud) ?
Ce n'est qu'après avoir répondu à ces questions qu'il est pertinent de parler de GPU spécifiques et de configurations. Partir du matériel avant le cas d'usage est le moyen le plus courant de dépenser le double de ce qui est nécessaire — ou l'inverse, sous-dimensionner et le découvrir en production.