DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Meilleurs petits LLM à exécuter en local : guide complet

Choisissez un petit modèle adapté à votre usage réel

Commencez par un modèle compatible avec vos entrées. Essayez Qwen3 4B comme petite référence textuelle, Gemma 3 4B si vous avez aussi besoin d’entrées image, ou Phi-4-mini comme seconde référence textuelle pour les tâches mathématiques ou structurées. Ce sont des candidats à tester sur votre machine. Leur qualité relative dépend de vos prompts, de la langue et de vos critères d’acceptation.

Estimez la mémoire disponible

Quatre milliards de paramètres à exactement quatre bits chacun nécessiteraient environ 2 Go pour le stockage brut des poids. Les fichiers peuvent être plus volumineux et les modèles chargés ont aussi besoin d’espace pour les tampons d’exécution et le cache clé-valeur. Réservez de la mémoire au système d’exploitation et aux autres tâches exécutées pendant l’inférence. Un contexte plus long nécessite davantage de mémoire, même si les poids téléchargés restent inchangés. Documentation Ollama sur la longueur du contexte

Pour obtenir une comparaison reproductible, essayez d’abord les mêmes prompts avec un contexte court, par exemple 2048 tokens, puis avec le contexte réellement nécessaire à votre usage. Notez toute utilisation du swap ou tout déchargement vers le CPU, ainsi que la latence. Le fait qu’un modèle tienne en mémoire avec le premier réglage ne prouve pas qu’il y tiendra avec le second.

Effectuez une première comparaison avec Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Exécutez les commandes des modèles une à une et quittez la conversation précédente avant de lancer la suivante. Utilisez ollama ps pendant qu’un modèle est chargé pour examiner le contexte alloué et la répartition CPU/GPU. Gardez les mêmes réglages de contexte et de prompt pour comparer la mémoire et le temps d’exécution. Testez séparément les entrées image avec des modèles qui les prennent effectivement en charge.

Gardez le plus petit modèle qui satisfait vos critères

Préparez un petit ensemble fixe de prompts représentatifs et de résultats attendus. Vous pouvez par exemple résumer un court passage en conservant les faits requis ou produire un JSON conforme au schéma que vous utilisez. Mesurez le temps jusqu’au premier token et le débit de sortie sur la même machine. Consignez les sorties en échec et le pic de mémoire au lieu de les masquer dans une moyenne. Enregistrez le tag exact du modèle, sa quantification lorsqu’elle est disponible et le réglage du contexte afin de pouvoir reproduire le résultat.

Cette édition a été préparée avec un agent IA. Les références techniques ont été vérifiées pendant la rédaction.

Top comments (0)