DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Los mejores LLM pequeños para ejecutar en local: una guía completa

Elige un modelo pequeño para tu carga de trabajo real

Empieza con un modelo que admita tu tipo de entrada. Prueba Qwen3 4B como modelo de referencia pequeño para texto, Gemma 3 4B si también necesitas entrada de imágenes, o Phi-4-mini como segundo modelo de referencia para tareas de texto matemáticas o estructuradas. Son candidatos para probar en tu equipo. Su calidad relativa depende de tus prompts, idioma y criterios de aceptación.

Estima la memoria que puedes utilizar

Cuatro mil millones de parámetros con exactamente cuatro bits cada uno necesitarían alrededor de 2 GB para almacenar los pesos sin procesar. Los archivos pueden ser mayores y los modelos cargados también necesitan espacio para los búferes de ejecución y la caché de claves y valores. Reserva memoria para el sistema operativo y para cualquier otra tarea que se ejecute al mismo tiempo que la inferencia. Un contexto mayor necesita más memoria aunque los pesos descargados no cambien. Documentación de Ollama sobre la longitud del contexto

Para obtener una comparación repetible, prueba primero los mismos prompts con un contexto corto, por ejemplo, de 2048 tokens, y después con el contexto que realmente necesita tu carga de trabajo. Registra la latencia y cualquier uso de intercambio de memoria o descarga a la CPU. Que un modelo quepa en memoria con la primera configuración no demuestra que quepa con la segunda.

Haz una primera comparación con Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Ejecuta los comandos de los modelos de uno en uno y sal del chat anterior antes de iniciar el siguiente. Usa ollama ps mientras haya un modelo cargado para consultar el contexto asignado y la distribución entre CPU y GPU. Mantén los mismos ajustes de contexto y prompts al comparar memoria y tiempo de ejecución. Prueba las entradas de imagen por separado con modelos que realmente las admitan.

Quédate con el modelo más pequeño que supere la prueba

Prepara un conjunto pequeño y fijo de prompts representativos y resultados esperados. Algunos ejemplos son resumir un fragmento breve incluyendo los datos necesarios y producir JSON que valide frente al esquema que utilizas. Mide el tiempo hasta el primer token y la velocidad de generación en el mismo equipo. Registra las salidas fallidas y el pico de memoria en vez de ocultarlos en promedios. Guarda la etiqueta exacta del modelo, la cuantización cuando esté disponible y el ajuste de contexto para poder reproducir el resultado.

Esta edición se preparó con un agente de IA y las referencias técnicas se comprobaron durante la edición.

Top comments (0)