Resumen
VIDRAFT POCKET es una familia de modelos GGUF que ejecuta modelos de lenguaje grandes en el hardware que ya tienes: un PC sin GPU, un portátil y, con las versiones para móvil, un iPhone o un Android. Funciona con llama.cpp estándar, Ollama, LM Studio y PocketPal. Sin bifurcaciones, sin CUDA, sin nube.
Según la API pública de Hugging Face, el 1 de noviembre de 2026 los tres repositorios principales de POCKET sumaban 1.113.164 descargas en los últimos 30 días y 3.154.913 descargas en total.
| Modelo | Últimos 30 días | Total |
|---|---|---|
| POCKET-35B-GGUF | 526.862 | 1.948.924 |
| POCKET-Darwin-180B-GGUF | 343.743 | 343.743 |
| POCKET-26B-GGUF | 242.559 | 862.246 |
| Total | 1.113.164 | 3.154.913 |
POCKET-Darwin-180B se publicó hace menos de 30 días, por eso sus cifras de 30 días y total coinciden.
¿Qué es VIDRAFT POCKET?
POCKET responde a una pregunta sencilla: ¿qué tamaño de modelo puede ejecutar una persona normal, en privado, en el dispositivo que tiene delante?
Cada repositorio incluye archivos GGUF listos para usar, cuantizados para caber en la memoria de un equipo de consumo y probados con las herramientas que los desarrolladores ya usan. La familia se apoya en tres principios:
-
Solo entornos estándar. Todos los archivos cargan en
llama.cppoficial y en las aplicaciones basadas en él. - Mezcla de expertos (MoE) dispersa. Solo una parte pequeña de la red se activa en cada token. Por eso un modelo de 35B o 180B genera texto a una velocidad útil en una CPU.
- Medido, no estimado. Cada cifra de velocidad y calidad de las fichas viene de una ejecución propia en hardware identificado.
¿Qué modelo POCKET debo descargar?
| Repositorio | Archivo | Tamaño | Funciona en | Ideal para |
|---|---|---|---|---|
| POCKET-35B-GGUF | Q2_K |
13 GB | mini PC o sobremesa sin GPU | uso diario |
| POCKET-35B-GGUF | Q4_K_M |
21 GB | PC con 32 GB de RAM | máxima calidad |
| POCKET-35B-GGUF | IQ1_M |
8,2 GB | equipo con 16 GB de RAM | el modelo completo más pequeño |
| POCKET-26B-GGUF | Q2_K |
11 GB | cualquier aplicación actual | compatibilidad, coreano |
| POCKET-Darwin-180B-GGUF | GGUF de 4 bits | 111 GB | portátil con 8 GB de VRAM y 32 GB de RAM, o mini PC con 128 GB de RAM | calidad de buque insignia |
¿Qué velocidad alcanza un modelo de 35B en una CPU?
Comparamos con Bonsai-27B, el modelo más cercano en tamaño que apunta al mismo nicho. Ambos se ejecutan en la misma compilación estándar de llama.cpp y en la misma máquina.
En un MacBook M3 Pro con 18 GB (medido):
| POCKET-35B IQ1_M | Bonsai-27B Q1_0 | Relación | |
|---|---|---|---|
| Generación en CPU, 8 hilos | 13,8 tok/s | 4,4 | 3,13x |
| Prompt en CPU, pp128 | 45,5 tok/s | 9,6 | 4,75x |
| Generación con Metal, tg64 | 25,4 tok/s | 12,8 | 1,99x |
| Prompt con Metal, pp128 | 240,7 tok/s | 73,4 | 3,28x |
En una CPU Xeon de 16 hilos, POCKET-35B genera 27,0 tok/s frente a 10,1 (2,69x). En una H100 la generación es de 197 frente a 89 tok/s; en el procesamiento del prompt en H100 gana Bonsai (1816 frente a 753 tok/s).
¿Cuánta calidad se pierde al cuantizar?
Medimos el razonamiento con GPQA Diamond (198 preguntas, decodificación voraz):
| Modelo | GPQA Diamond |
|---|---|
| POCKET-35B Q4_K_M | 68,7% |
| POCKET-35B Q2_K | 60,1% |
| POCKET-26B base (Gemma-4-26B-A4B) | 67,7% |
| POCKET-26B Q2_K | 67,2% |
POCKET-26B conserva casi toda la puntuación de su modelo base a 2 bits gracias a una cuantización de precisión mixta. La versión de 4 bits de POCKET-Darwin-180B iguala al modelo BF16 en nuestra prueba de calidad (87,65%).
¿Cómo ejecuto POCKET con llama.cpp?
# descargar un archivo desde Hugging Face
huggingface-cli download FINAL-Bench/POCKET-35B-GGUF POCKET-35B-Q2_K.gguf --local-dir .
# conversar solo con la CPU (-ngl 0); usa el número de núcleos físicos en -t
llama-cli -m POCKET-35B-Q2_K.gguf -p "Explica la mezcla de expertos en dos frases." -ngl 0 -t 8
Usa en -t el número de núcleos físicos, no de hilos lógicos: usar todos los hilos puede reducir mucho la velocidad. Los mismos archivos GGUF funcionan en Ollama, LM Studio y PocketPal.
Preguntas frecuentes
¿Puedo ejecutar un modelo de 35B sin GPU?
Sí. POCKET-35B Q2_K (13 GB) funciona en un PC solo con CPU y llama.cpp estándar. En la CPU de un MacBook M3 Pro medimos 19,5 tok/s.
¿Necesita POCKET una versión modificada de llama.cpp?
No. Todos los archivos cargan en llama.cpp oficial, Ollama, LM Studio y PocketPal.
¿Un modelo de 180B funciona de verdad en un portátil?
POCKET-Darwin-180B (4 bits, 111 GB) funciona en un portátil con 8 GB de VRAM y 32 GB de RAM a 4,17 tok/s medidos. Un mini PC con 128 GB de RAM lo ejecuta sin GPU.
¿Cuántas veces se ha descargado POCKET?
1.113.164 veces en los últimos 30 días y 3.154.913 en total en los tres repositorios principales (Hugging Face, 1 de noviembre de 2026).
¿Dónde puedo probarlo sin instalar nada?
La colección POCKET reúne todas las versiones y POCKET Image Studio funciona en el navegador.
Lecturas relacionadas
- NL2SQL: cómo leer un 83,80 en BIRD Mini-Dev
- IA de decisión: por qué Hugging Face creó una demo de Darwin-35B-ZTC-Vision
Método de medición de descargas: vidraft.net/hf-usage.html
Top comments (0)