Les LLM quantifiés tournent désormais sur un laptop 16 Go — et réduisent l'écart avec les modèles cloud

Il y a deux ans, faire fonctionner un grand modèle de langage compétent nécessitait soit un GPU de centre de données, soit un abonnement API coûteux. Aujourd'hui, un laptop gaming avec 16 Go de RAM peut exécuter localement un modèle de 7 milliards de paramètres à 30–50 tokens par seconde — assez rapide pour un travail réel. La technologie clé qui a rendu cela possible est la quantification, et elle a discrètement redessiné la frontière entre l'IA cloud et l'IA de périphérie.

Le problème : des modèles qui ne pouvaient pas quitter le centre de données

Un modèle de langage stocke son intelligence dans des milliards de nombres à virgule flottante appelés poids. Le modèle original LLaMA publié par Meta en 2023 stockait chaque poids sous forme de flottant 16 bits (FP16), ce qui signifie que la version 7B nécessitait environ 14 Go de mémoire GPU rien que pour le chargement — avant tout surcoût d'inférence. La version 13B nécessitait 26 Go. Les GPU grand public plafonnent autour de 8 à 12 Go de VRAM, donc exécuter ces modèles localement était pratiquement impossible pour la plupart des développeurs et passionnés.

Au-delà des contraintes matérielles, le déploiement exclusivement cloud a créé de réels problèmes : chaque requête envoyée à une API est une exposition de la vie privée, la latence dépend des conditions réseau et les coûts s'accumulent avec l'utilisation. Pour les entreprises traitant des données sensibles, l'envoi de documents à une API tierce est souvent interdit légalement ou contractuellement.

Ce que fait réellement la quantification

La quantification réduit la précision numérique des poids du modèle. Au lieu de stocker chaque poids sous forme de flottant 32 bits (FP32) ou 16 bits (FP16), les modèles quantifiés stockent les poids sous forme d'entiers 8 bits (INT8) ou même 4 bits (INT4). Les économies de mémoire sont substantielles : INT8 réduit l'utilisation mémoire d'environ la moitié par rapport au FP16 ; INT4 la réduit d'environ 75%.

Le compromis est la précision. La compression des poids introduit des erreurs d'arrondi qui peuvent dégrader la qualité des sorties — mais les chercheurs ont découvert que les grands modèles tolèrent étonnamment bien la quantification. Un modèle 7B quantifié en INT4 ne perd qu'une qualité marginale par rapport à son équivalent FP16 sur la plupart des benchmarks, car le modèle a suffisamment de paramètres pour que les erreurs de poids individuelles se compensent.

Les deux schémas de quantification dominants sont GPTQ (quantification post-entraînement utilisant des données de calibration, développé à l'origine pour les modèles GPT) et GGUF (le format de fichier utilisé par llama.cpp, qui prend en charge la quantification à précision mixte de 2 bits à 8 bits par poids). GGUF a remplacé le format antérieur GGML en 2023 et est devenu le standard de facto pour distribuer des modèles quantifiés pour l'inférence locale.

Les outils : llama.cpp, Ollama et l'écosystème

llama.cpp, écrit par Georgi Gerganov, est le projet fondateur. C'est un moteur d'inférence pur en C/C++ qui charge les modèles GGUF et les exécute efficacement sur CPU — avec déchargement optionnel sur GPU. Comme il n'a aucune dépendance d'exécution Python et se compile sur n'importe quelle plateforme, il est devenu la couche de base pour des dizaines d'outils d'IA locaux. Sur une puce Apple M-series, llama.cpp utilise l'accélération Metal et atteint des vitesses d'inférence compétitives avec des machines GPU dédiées.

Ollama encapsule llama.cpp dans une interface en ligne de commande propre et une API REST locale. Une seule commande — ollama run llama3.1 — télécharge le modèle quantifié et commence à le servir. Ollama gère le versionnement du modèle, la détection matérielle et la gestion de la mémoire automatiquement, rendant le déploiement local de LLM accessible aux développeurs qui ne souhaitent pas gérer des fichiers GGUF bruts.

D'autres outils notables dans cette pile incluent LM Studio (une interface graphique pour parcourir et exécuter des modèles GGUF), Jan (une alternative open source à ChatGPT qui fonctionne localement), et vLLM (optimisé pour l'inférence GPU à plus haut débit, utilisé davantage dans des contextes de serveur de périphérie).

Les modèles qui ont tout changé

Llama 3.1 (Meta, publié en juillet 2024) est la référence actuelle pour les modèles à poids ouverts. La version 8B quantifiée en Q4_K_M — une variante de quantification GGUF — nécessite environ 5 Go de RAM et fonctionne sur n'importe quel laptop moderne. Sa version 70B, quantifiée en Q4, nécessite environ 40 Go et fonctionne sur un Mac Studio ou une station de travail avec plusieurs GPU. Les performances sur les tâches de codage et de raisonnement sont compétitives avec GPT-3.5 et approchent GPT-4 sur plusieurs benchmarks.

Mistral 7B (Mistral AI, 2023) a été le premier modèle à poids ouverts à surpasser de manière convaincante Llama 2 13B avec la moitié des paramètres — démontrant que l'efficacité architecturale compte autant que l'échelle. Il a suscité un intérêt généralisé pour des modèles plus petits et plus efficaces optimisés pour le déploiement local.

Phi-3 Mini (Microsoft, 2024) est un modèle de 3,8 milliards de paramètres qui atteint des performances comparables à des modèles beaucoup plus grands en s'entraînant sur des données de meilleure qualité plutôt qu'en augmentant les paramètres. Avec la quantification Q4, il tient dans moins de 3 Go et fonctionne à plus de 40 tokens par seconde sur un CPU moderne — le rendant viable pour les appareils à mémoire limitée.

Gemma 2 (Google DeepMind, 2024) a introduit des améliorations architecturales incluant des couches d'attention locale et globale alternées, résultant en de solides performances aux tailles 2B et 9B paramètres. La version 2B quantifiée en INT4 fonctionne sur des appareils avec aussi peu que 2 Go de mémoire disponible.

Ce que cela signifie en pratique

Confidentialité : L'inférence locale signifie que les requêtes ne quittent jamais l'appareil. Pour les applications médicales, juridiques et financières — où les exigences de résidence des données sont strictes — c'est la différence entre utiliser l'IA et ne pas l'utiliser du tout. Un hôpital peut exécuter un résumeur de notes cliniques sur place sans acheminer les données des patients via une API externe.

Fonctionnement hors ligne : Les appareils grand public dans des endroits reculés, avions, sous-marins ou tout environnement avec une connectivité peu fiable peuvent exécuter des applications d'IA qui autrement seraient dépendantes du cloud.

Itération développeur : Exécuter un modèle localement élimine les limites de taux d'API et les coûts par token pendant le développement. Un développeur peut exécuter des milliers d'appels d'inférence contre un modèle Mistral ou Llama local pour tester des prompts, ajuster la logique d'évaluation ou générer des données d'entraînement synthétiques sans accumuler de coûts d'API.

Déploiement périphérique en entreprise : Les usines de fabrication, les magasins de détail et les hubs logistiques déploient de petits modèles quantifiés sur des serveurs locaux pour exécuter des applications nécessitant une faible latence et ne pouvant tolérer des allers-retours vers le cloud. Un système de contrôle qualité analysant les défauts sur une chaîne d'assemblage ne peut pas se permettre 200 ms de latence cloud par requête.

Quel matériel est nécessaire aujourd'hui

Pour une inférence locale sérieuse, le minimum pratique est 16 Go de mémoire unifiée (sur Apple Silicon) ou 16 Go de RAM avec un GPU discret. Cela couvre confortablement les modèles Llama 3.1 8B, Mistral 7B et Phi-3 Medium avec quantification Q4. Un MacBook Pro M3 Pro avec 18 Go de mémoire unifiée peut exécuter Llama 3.1 8B à 35–45 tokens par seconde — assez rapide pour que le goulot d'étranglement soit la lecture, pas l'attente.

Pour les modèles 70B, vous avez besoin soit d'un Mac Studio avec 64+ Go de mémoire unifiée, d'une station de travail avec 2× GPU RTX 4090 (48 Go de VRAM totale), soit d'un serveur avec GPU à haute mémoire. Ce ne sont plus des configurations exotiques — les Mac Studio 64 Go coûtent moins de 2 000 $, et le logiciel pour les faire fonctionner est gratuit.

Commencez par ollama run phi3:mini si vous voulez la réponse la plus rapide possible sur du matériel modeste, ou ollama run llama3.1:8b pour un modèle qui gère les tâches complexes de raisonnement et de codage. Les deux se téléchargent en quelques minutes et fonctionnent sans aucune configuration. L'infrastructure qui rendait l'IA inaccessible à quiconque sans compte cloud a disparu — la question est désormais de savoir quoi construire avec elle.