Elige un modelo pequeño para tu carga de trabajo real
Empieza con un modelo que admita tu tipo de entrada. Prueba Qwen3 4B como modelo de referencia pequeño para texto, Gemma 3 4B si también necesitas entrada de imágenes, o Phi-4-mini como segundo modelo de referencia para tareas de texto matemáticas o estructuradas. Son candidatos para probar en tu equipo. Su calidad relativa depende de tus prompts, idioma y criterios de aceptación.
Estima la memoria que puedes utilizar
Cuatro mil millones de parámetros con exactamente cuatro bits cada uno necesitarían alrededor de 2 GB para almacenar los pesos sin procesar. Los archivos pueden ser mayores y los modelos cargados también necesitan espacio para los búferes de ejecución y la caché de claves y valores. Reserva memoria para el sistema operativo y para cualquier otra tarea que se ejecute al mismo tiempo que la inferencia. Un contexto mayor necesita más memoria aunque los pesos descargados no cambien. Documentación de Ollama sobre la longitud del contexto
Para obtener una comparación repetible, prueba primero los mismos prompts con un contexto corto, por ejemplo, de 2048 tokens, y después con el contexto que realmente necesita tu carga de trabajo. Registra la latencia y cualquier uso de intercambio de memoria o descarga a la CPU. Que un modelo quepa en memoria con la primera configuración no demuestra que quepa con la segunda.
Haz una primera comparación con Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Ejecuta los comandos de los modelos de uno en uno y sal del chat anterior antes de iniciar el siguiente. Usa ollama ps mientras haya un modelo cargado para consultar el contexto asignado y la distribución entre CPU y GPU. Mantén los mismos ajustes de contexto y prompts al comparar memoria y tiempo de ejecución. Prueba las entradas de imagen por separado con modelos que realmente las admitan.
Quédate con el modelo más pequeño que supere la prueba
Prepara un conjunto pequeño y fijo de prompts representativos y resultados esperados. Algunos ejemplos son resumir un fragmento breve incluyendo los datos necesarios y producir JSON que valide frente al esquema que utilizas. Mide el tiempo hasta el primer token y la velocidad de generación en el mismo equipo. Registra las salidas fallidas y el pico de memoria en vez de ocultarlos en promedios. Guarda la etiqueta exacta del modelo, la cuantización cuando esté disponible y el ajuste de contexto para poder reproducir el resultado.
Esta edición se preparó con un agente de IA y las referencias técnicas se comprobaron durante la edición.
Top comments (0)